Amazon Scraper

Docker容器化爬虫，支持穿透反爬，三种模式自动识别（Amazon / YouTube / 通用网页）。

前置要求

• - Docker 已安装并运行
• 首次使用前构建镜像（在 skill 目录下执行）:

• - 创建输出目录: mkdir -p ~/scrapes

模式选择规则

1. Amazon模式 (amazon_handler.js)

根据URL自动识别页面类型：

⚠️ 重要规则:

• - Best Sellers页面没有月销量(boughtPastMonth)数据 — 亚马逊不在榜单页显示此信息
• 要获取月销量，必须用搜索页(/s?k=关键词)或产品详情页(/dp/ASIN)
• 如果用户同时需要排名+月销量，建议：先爬Best Sellers拿排名，再用搜索页补月销

bash

畅销榜（有排名，无月销）

搜索结果（有月销，无排名）

产品详情（最全字段：BSR、品牌、卖点、月销）

多页爬取

输出格式: JSON
json
{
status: SUCCESS,
type: bestsellers|search|product-detail,
category: 品类名,
totalProducts: 30,
scrapedAt: ISO时间,
products: [
{
rank: 1,
title: 产品名,
asin: B001TQ6IHS,
price: 9.94,
priceStr: $9.94,
rating: 4.6,
reviews: 20547,
boughtPastMonth: 1K+,
image: https://...,
url: https://...
}
]
}

2. YouTube模式 (main_handler.js)

• - 拦截网络请求捕获字幕API (timedtext)
• 模拟点击展开描述和转录稿按钮
• 输出: {status, type:TRANSCRIPT|DESCRIPTION, videoId, data}

bash
docker run -t --rm clawd-crawlee node assets/main_handler.js https://youtube.com/watch?v=xxx

3. 通用模式 (main_handler.js)

• - Playwright打开页面，等待JS加载完成
• 提取 document.body.innerText（纯文本，去广告噪音）
• 输出上限10000字符
• 输出: {status:SUCCESS, type:GENERIC, title, data}

bash
docker run -t --rm clawd-crawlee node assets/main_handler.js https://任意网址

Agent调用决策树

用户给了URL?
├─ 包含 amazon.com → 用 amazon_handler.js
│ ├─ 需要月销量? → 建议用搜索URL(/s?k=) 或详情页(/dp/)
│ └─ 需要排名? → 用畅销榜URL(/zgbs/)
├─ 包含 youtube.com → 用 main_handler.js (自动YouTube模式)
└─ 其他网站 → 用 main_handler.js (通用模式)

用户没给URL，只说了需求?
├─ 爬亚马逊XX品类Top / XX类目排行 / XX畅销榜 → 构造 https://www.amazon.com/zgbs/品类
├─ 搜亚马逊XX / XX关键词搜索 / 找XX产品 → 构造 https://www.amazon.com/s?k=关键词
├─ 分析某个ASIN / 看看这个产品 / XX的详情 → 构造 https://www.amazon.com/dp/ASIN
├─ XX的月销量 / XX卖了多少 / XX销量怎么样 → 用搜索页或详情页（有boughtPastMonth）
├─ 竞品分析 / 竞品调研 / 对手在卖什么 → 先搜索再逐个爬详情
├─ 选品 / 什么好卖 / 品类机会 / 市场调研 → Best Sellers + 搜索结合
└─ 其他 → 先web_search找到URL，再用对应模式爬

常见用户意图 → 操作映射

反爬能力

• - 每次清除Cookie，模拟全新用户
• Docker沙箱隔离，无指纹追踪
• Playwright模拟真实浏览器行为
• 自动滚动加载懒加载内容
• 支持重试（maxRetries: 2）

数据输出模式（重要）

模式一：stdout 直接输出（适合单次抓取）

单URL抓取，结果打印到终端

⚠️ 并行执行多个容器时，stdout 会交织混乱，导致数据丢失或解析错误。

模式二：文件输出（适合批量抓取）⭐ 推荐

方式A：单次抓取写入文件

方式B：批量抓取（使用 scripts/batch-scrape.sh）

设置输出目录（可自定义）

执行批量抓取（从 stdin 读 ASIN 列表）

结果文件存于 $SCRAPE_DIR/{timestamp}.json

✅ 结果直接写文件，不走 stdout，完全避免输出混乱问题。

批量分析工作流

1. 1. 爬取数据 -> 存文件到 ~/scrapes/
2. 本地分析 -> Python 读文件做统计分析
3. 结果进LLM -> 只把分析结论发给 AI，