Media Cluster – 社交平台关键词爬取与总结

路径约定：文中 {baseDir} 表示本技能所在目录（media-cluster 技能根目录）。Agent 执行命令时需将 {baseDir} 替换为实际路径。

基于 MediaCrawler 按「搜索关键词」爬取社交平台内容，汇总有哪些内容，并生成报告与简洁版语音总结。爬虫结果保存在 {baseDir}/MediaCrawler/data/ 下。

使用者一句话指令（仅文本输入）

使用者只需输入一句自然语言，例如：

• - 「帮我爬一下小红书关键词比特币，并总结」
• 「搜一下抖音上关于 AI 的内容并出报告」
• 「微博搜“编程副业”爬取并语音总结」

Agent 收到此类请求后，应自动完成全流程（无需用户再执行任何命令）：

1. 1. 首次执行时下载 MediaCrawler：若 {baseDir}/MediaCrawler 目录不存在，则先执行 {baseDir}/scripts/ensure_mediacrawler.sh 或手动 git clone https://github.com/NanmiCoder/MediaCrawler.git {baseDir}/MediaCrawler（将 {baseDir} 换为实际路径），然后再进行后续步骤。
2. 解析：从用户文本中识别平台（小红书/xhs、抖音/dy、微博/wb、B站/bili、快手/ks、贴吧/tieba、知乎/zhihu）和搜索关键词；若未指明平台则默认小红书（xhs）。
3. 环境：若尚未配置，先执行 scripts/setup_env.sh（或等价 conda create + pip install + playwright install）；否则跳过。
4. 爬取：在 MediaCrawler 目录下执行 python main.py --platform <平台> --lt qrcode --type search --keywords "<关键词>" --save_data_option jsonl；提示用户首次需扫码登录。
5. 报告与语音：爬取结束后执行 scripts/summarize_and_voice.py，带上对应的 --platform、--keyword，并加上 --voice 生成简洁版语音总结；将报告路径与语音稿内容回复给用户。

使用者只需一次文本输入，其余由 Agent 按上述步骤完成。

前置条件

• - Conda：用于创建并激活 media-cluster 环境。
• Node.js：>= 16（爬抖音、知乎时需要）。
• 工具已位于：{baseDir}/MediaCrawler。
• 语音总结（TTS）：需在环境变量中配置 SENSEAUDIO_API_KEY（接口密钥）；可选 SENSEAUDIO_VOICE_ID。

0. 首次执行：下载 MediaCrawler

若本地尚未有 MediaCrawler 项目，需先从 GitHub 拉取到技能目录下。执行时将 {baseDir} 替换为实际技能根路径：

CODEBLOCK0

完成后目录结构为：{baseDir}/MediaCrawler/（含 main.py、config/、requirements.txt 等）。之后再执行环境配置与爬取。

1. 环境配置（首次或环境异常时执行）

以下命令适用于所有平台（macOS / Windows / Linux），在终端或命令提示符中执行：

CODEBLOCK1

macOS/Linux 也可直接执行技能提供的脚本（将 {baseDir} 换为实际路径）：

CODEBLOCK2

2. 爬取流程

2.1 确定参数

• - 平台 --platform：xhs（小红书）| dy（抖音）| ks（快手）| bili（B站）| wb（微博）| tieba（贴吧）| zhihu（知乎）。
• 搜索关键词 --keywords：一个或多个，英文逗号分隔，如 比特币 或 比特币,以太坊。
• 爬取类型：本技能使用关键词搜索，即 --type search。
• 登录方式：默认 --lt qrcode（扫码登录）；首次运行会弹出浏览器，用对应 APP 扫码。

2.2 执行爬虫

先激活环境，再进入 {baseDir}/MediaCrawler 运行：

CODEBLOCK3

数据默认写入 MediaCrawler 下的 data/，即 {baseDir}/MediaCrawler/data/<platform>/。如需指定绝对路径，可加 --save_data_path <绝对路径>。

2.3 可选参数（按需）

• - --save_data_option jsonl：推荐 jsonl，便于后续解析。
• INLINECODE42：是否爬评论，默认从 config/base_config.py 读取。
• INLINECODE44：自定义数据目录；不填则用默认 data/。

3. 报告与语音总结

爬取完成后：

1. 1. 读数据：从 {baseDir}/MediaCrawler/data/<platform>/ 下读取最新生成的 jsonl（或 json/csv，视 --save_data_option）。
2. 生成报告：

1. 3. 输出：

报告结构建议：

CODEBLOCK4

4. 小红书结果示例（JSON 单条）

爬虫得到的小红书笔记可能形如：

CODEBLOCK5

总结时重点用：title, desc, nickname, liked_count, comment_count, source_keyword。

5. 脚本说明

调用示例（将 {baseDir} 换为实际路径）：

CODEBLOCK6

6. 注意事项

• - 仅用于学习与研究，遵守平台条款与法律法规。
• 首次运行需扫码登录；登录态可被缓存，后续可减少扫码。
• 若遇反爬或验证码，可尝试关闭无头模式（在 config/base_config.py 中设置 HEADLESS = False）。
• 抖音/知乎需本机已安装 Node.js >= 16。
• 语音总结：TTS 使用 SenseAudio API，需在环境变量中配置 SENSEAUDIO_API_KEY（在 senseaudio.cn 接口密钥 创建）；可选 SENSEAUDIO_VOICE_ID。API 文档见 。

7. 参考

• - MediaCrawler 用法与配置：MediaCrawler/README.md
• 数据存储与字段说明见项目 docs/data_storage_guide.md（若有）。
• 语音合成（TTS）：SenseAudio API 文档、语音合成 API、接口密钥。