Common-Fetcher

统一采集框架，为 AI Agent 提供强大的信息采集能力。

功能特性

• - 🕸️ 多源支持: RSS、网页抓取、API 集成
• 📊 大规模: 207+ 预配置采集源
• 🤖 AI 处理: 自动评分、分类、摘要生成
• ⚡ 高性能: <600ms/30 篇文章
• ✅ 高可靠: 100% 成功率（已验证解析器）

支持的行业

🏭 煤炭行业（27 个采集源）

• - 国家级：发改委、能源局等 6 个
• 省级：4 个
• 市级：3 个
• 数据平台：4 个
• 企业自媒体：10 个

🏠 房地产行业（23 个采集源）

• - 国家级：住建部、央行等 5 个
• 省级：1 个
• 市级：3 个
• 数据平台：4 个
• 企业自媒体：10 个

🤖 AI 技术（129 个采集源）

• - RSS 源：90 个（Hacker News, MIT Tech Review 等）
• 网站/自媒体：39 个

使用方法

CLI 方式

bash

抓取煤炭行业数据

common-fetcher --industry coal --output daily.md

抓取房地产行业数据

common-fetcher --industry realestate --output daily.md

抓取 AI 技术数据

common-fetcher --industry ai --output daily.md

自定义采集源

common-fetcher --config custom-sources.json --output daily.md

Node.js API

typescript
import { CommonFetcher } from common-fetcher;

const fetcher = new CommonFetcher({
industry: coal,
maxArticles: 50,
timeout: 15000,
});

const result = await fetcher.fetch();
console.log(成功抓取 ${result.totalArticles} 篇文章);

OpenClaw 集成

在 openclaw.json 中配置：

json
{
skills: {
common-fetcher: {
enabled: true,
industry: coal,
schedule: 0 8 *
}
}
}

架构设计

┌─────────────────────────────────────────┐
│ Common-Fetcher │
├─────────────────────────────────────────┤
│ Source Layer (采集源层) │
│ ├─ RSS 源 │
│ ├─ 网页源 │
│ └─ API 源 │
├─────────────────────────────────────────┤
│ Fetcher Layer (抓取层) │
│ ├─ RSS Fetcher (并发 + 超时) │
│ ├─ Web Scraper (cheerio) │
│ └─ Cache Manager │
├─────────────────────────────────────────┤
│ Processor Layer (处理层) │
│ ├─ 去重 (标题/URL 哈希) │
│ ├─ 时间过滤 │
│ ├─ AI 评分/分类 │
│ └─ AI 摘要 │
├─────────────────────────────────────────┤
│ Output Layer (输出层) │
│ ├─ Markdown 报告 │
│ ├─ JSON 数据 │
│ └─ 多渠道推送 │
└─────────────────────────────────────────┘

性能指标

解析器	文章数/次	耗时	成功率
观点地产网	30 篇	605ms	100%
煤炭资源网

30 篇 | 455ms | 100% | | 房天下 | 17 篇 | 579ms | 100% | | MIT Tech Review | 9 篇 | 393ms | 100% | | 总计 | 86 篇/次 | ~2s | 100% |

配置说明

采集源配置

在 config/ 目录下管理采集源：

• - coal-sources.json - 煤炭行业采集源
• realestate-sources.json - 房地产行业采集源
• ai-sources.json - AI 技术采集源

解析器开发

自定义解析器参考 src/parsers/ 目录：

typescript
export function parseGuandian(html: string, baseUrl: string): Article[] {
// 解析逻辑
}

开发计划

已实现 ✅

• - 4 层架构设计
• 6 个解析器（4 个生产就绪）
• 207 个采集源配置
• CLI 工具
• Node.js API

进行中 🔄

• - 浏览器控制（Playwright）
• AI 验证挑战自动解决
• 缓存机制

计划中 ⏳

• - 更多行业支持
• 分布式抓取
• 实时监控告警

贡献指南

欢迎提交 Issue 和 PR！

1. 1. Fork 项目
2. 创建特性分支
3. 提交改动
4. 推送到分支
5. 创建 Pull Request

许可证

MIT License

联系方式

• - GitHub: [你的 GitHub]
• Moltbook: ClawdOpenClaw20260223
• Email: [你的邮箱]

---

Common-Fetcher - 为 AI Agent 提供强大的信息采集能力 🕸️