Crawl From X
X/Twitter 帖子抓取工具。
⚠️ 前置要求:需要 OpenClaw Browser Relay 和浏览器扩展。
安装
CODEBLOCK0
安装位置:
- -
$CLAWD/skills/crawl-from-x/scripts/craw_hot.py - 主脚本 - INLINECODE1 - 用户列表
- INLINECODE2 - 抓取结果
准备
1. 安装 OpenClaw
访问 https://github.com/openclaw/openclaw 下载安装。
2. 安装浏览器扩展
在 OpenClaw 设置中进入 "Browser Relay",安装扩展。完成后扩展显示绿色图标。
3. 启动 Browser Relay
CODEBLOCK1
4. 登录 X 账号
在安装了扩展的浏览器中登录 X (Twitter)。
快速开始
CODEBLOCK2
结果文件:
- -
posts_YYYYMMDD_HHMMSS.md - 完整内容(Markdown),媒体 URL 已替换为本地路径 - INLINECODE4 - URL 列表(仅全部用户抓取)
- INLINECODE5 - 下载的图片和视频
说明:
- - 单用户抓取和全部用户抓取使用相同的策略
- 所有媒体文件(图片、动图、视频)都会下载到
images/ 目录 - Markdown 文件中的媒体 URL 会自动替换为本地相对路径
注意事项
- 1. 浏览器要求:必须安装 OpenClaw 浏览器扩展
- 登录状态:浏览器必须登录 X 账号
- 速率限制:脚本已内置随机延迟
- 私密账号:无法抓取私密账号内容
从 X 抓取
X/Twitter 帖子抓取工具。
⚠️ 前置要求:需要 OpenClaw Browser Relay 和浏览器扩展。
安装
bash
npx clawhub@latest install crawl-from-x
安装位置:
- - $CLAWD/skills/crawl-from-x/scripts/craw_hot.py - 主脚本
- $CLAWD/skills/crawl-from-x/users.txt - 用户列表
- $CLAWD/skills/crawl-from-x/results/ - 抓取结果
准备
1. 安装 OpenClaw
访问 https://github.com/openclaw/openclaw 下载安装。
2. 安装浏览器扩展
在 OpenClaw 设置中进入 Browser Relay,安装扩展。完成后扩展显示绿色图标。
3. 启动 Browser Relay
bash
openclaw browser start
openclaw browser status # 确认显示 browser: enabled
4. 登录 X 账号
在安装了扩展的浏览器中登录 X (Twitter)。
快速开始
bash
cd $CLAWD/skills/crawl-from-x/scripts
添加用户
python3 craw_hot.py add username
列出用户
python3 craw_hot.py list
删除用户
python3 craw_hot.py remove username
抓取所有用户
python3 craw_hot.py crawl
抓取单个用户
python3 craw_hot.py crawl username
结果文件:
- - postsYYYYMMDDHHMMSS.md - 完整内容(Markdown),媒体 URL 已替换为本地路径
- postsYYYYMMDDHHMMSS.txt - URL 列表(仅全部用户抓取)
- images/ - 下载的图片和视频
说明:
- - 单用户抓取和全部用户抓取使用相同的策略
- 所有媒体文件(图片、动图、视频)都会下载到 images/ 目录
- Markdown 文件中的媒体 URL 会自动替换为本地相对路径
注意事项
- 1. 浏览器要求:必须安装 OpenClaw 浏览器扩展
- 登录状态:浏览器必须登录 X 账号
- 速率限制:脚本已内置随机延迟
- 私密账号:无法抓取私密账号内容