Web Scout — AI Agent 全网采集工具箱

基于 Agent Reach 封装，让你的 AI Agent 一键获得全网信息采集能力。

支持平台

平台	工具	免费	需要配置
🌐 网页	Jina Reader	✅	无
📺 YouTube

yt-dlp | ✅ | 无 | | 📺 B站 | yt-dlp | ✅ | 服务器需代理 | | 📡 RSS | feedparser | ✅ | 无 | | 🔍 全网搜索 | Exa (MCP) | ✅ | 自动配置 | | 📦 GitHub | gh CLI | ✅ | 需登录 | | 🐦 Twitter/X | xreach (bird) | ✅ | 需 Cookie | | 📖 Reddit | JSON API + Exa | ✅ | 服务器需代理 | | 📕 小红书 | xiaohongshu-mcp | ✅ | 需 Docker + Cookie | | 🎵 抖音 | douyin-mcp-server | ✅ | 需 MCP 服务 | | 💼 LinkedIn | linkedin-mcp | ✅ | 需浏览器登录 | | 🏢 Boss直聘 | mcp-bosszp | ✅ | 需扫码登录 |

安装

第一步：安装 Agent Reach CLI

bash
pip install https://github.com/Panniantong/agent-reach/archive/main.zip

第二步：自动安装依赖

默认模式（自动安装所有依赖）：
bash
agent-reach install --env=auto

安全模式（只检查不安装，适合生产环境）：
bash
agent-reach install --env=auto --safe

预览模式（只看会做什么）：
bash
agent-reach install --env=auto --dry-run

第三步：检查状态

bash
agent-reach doctor

第四步：按需配置平台

需要 Cookie 的平台建议使用小号，避免封号风险。

Cookie 导出方法：浏览器登录平台 → 安装 Cookie-Editor 插件 → Export → Header String → 发给 Agent。

配置 Twitter：
bash
agent-reach configure twitter-cookies COOKIE_STRING

配置代理（服务器访问 Reddit/B站）：
bash
agent-reach configure proxy http://user:pass@ip:port

配置小红书（需要 Docker）：
bash
docker run -d --name xiaohongshu-mcp -p 18060:18060 xpzouying/xiaohongshu-mcp
mcporter config add xiaohongshu http://localhost:18060/mcp

常用命令速查

读网页

bash curl -s https://r.jina.ai/URL

搜索 Twitter/X

bash xreach search 关键词 --json

YouTube/B站 字幕提取

bash yt-dlp --dump-json VIDEO_URL # 视频信息 yt-dlp --write-sub --skip-download URL # 提取字幕

全网搜索（Exa）

bash mcporter call exa.search(query: 关键词, numResults: 10)

GitHub

bash gh repo view owner/repo # 查看仓库 gh search repos 关键词 # 搜索仓库 gh issue list -R owner/repo # 查看 Issue

RSS

bash python3 -c import feedparser; f=feedparser.parse(RSS_URL); [print(e.title) for e in f.entries[:10]]

小红书

bash mcporter call xiaohongshu.search_feeds(keyword: 关键词) mcporter call xiaohongshu.getfeeddetail(note_id: ID)

抖音

bash mcporter call douyin.parsedouyinvideoinfo(sharelink: 分享链接)

Reddit

bash mcporter call exa.search(query: site:reddit.com 关键词)

维护

检查更新：
bash
agent-reach check-update

升级：
bash
pip install --upgrade https://github.com/Panniantong/agent-reach/archive/main.zip

健康检查（适合定时任务）：
bash
agent-reach watch

卸载：
bash
agent-reach uninstall # 完整卸载
agent-reach uninstall --keep-config # 保留配置
pip uninstall agent-reach # 卸载 Python 包

安全说明

• - Cookie 只存本地 ~/.agent-reach/config.yaml，文件权限 600
• 代码完全开源，可审查
• 需要 Cookie 的平台（Twitter、小红书）建议用小号
• 支持 --safe 和 --dry-run 模式

致谢

基于 Agent Reach by Panniantong，MIT 协议。