返回顶部
d

decodo-scraperDecodo爬虫

Search Google, scrape web pages, Amazon product pages, YouTube subtitles, or Reddit (post/subreddit) using the Decodo Scraper OpenClaw Skill.

作者: admin | 来源: ClawHub
源自
ClawHub
版本
V 1.1.0
安全检测
已通过
1,435
下载量
免费
免费
10
收藏
概述
安装方式
版本历史

decodo-scraper

Decodo Scraper OpenClaw 技能

使用此技能通过 Decodo 网页抓取 API 搜索 Google、抓取任意 URL 或获取 YouTube 字幕。搜索输出结果部分的 JSON 对象;抓取 URL输出纯 Markdown;AmazonAmazon 搜索输出解析后的产品页面或搜索结果(JSON)。Amazon 搜索使用 --query。YouTube 字幕输出转录文本/字幕。Reddit 帖子Reddit 子版块输出帖子/列表内容(JSON)。

身份验证:在环境变量或仓库根目录的 .env 文件中设置 DECODOAUTHTOKEN(来自 Decodo 仪表板 → 抓取 API 的基本身份验证令牌)。

错误处理:失败时脚本将 JSON 错误写入 stderr 并以退出码 1 退出。



工具

1. 搜索 Google

用于查找 URL、答案或结构化搜索结果。API 返回一个 JSON 对象,其 results 键包含多个部分(并非每个查询都会包含所有部分):

部分描述
organic主要搜索结果(标题、链接、摘要)。
ai_overviews
Google 显示的 AI 生成概览或摘要。 |
| paid | 付费/赞助结果(广告)。 |
| related_questions | 其他人还问了风格的问题和答案。 |
| related_searches | 建议的相关搜索查询。 |
| discussionsandforums | 论坛或讨论结果(例如 Reddit、Stack Exchange)。 |

脚本仅输出内部的 results 对象(这些部分);分页信息(page、lastvisiblepage、parsestatuscode)不包含在内。

命令:
bash
python3 tools/scrape.py --target google_search --query 你的搜索查询

示例:
bash
python3 tools/scrape.py --target google_search --query 2025年最佳笔记本电脑
python3 tools/scrape.py --target google_search --query python requests 教程

可选:--geo us 或 --locale en 用于指定位置/语言。



2. 抓取 URL

用于获取特定网页的内容。默认情况下,API 以 Markdown 格式返回内容(对 LLM 更清晰,令牌使用量更低)。

命令:
bash
python3 tools/scrape.py --target universal --url https://example.com

示例:
bash
python3 tools/scrape.py --target universal --url https://example.com
python3 tools/scrape.py --target universal --url https://news.ycombinator.com/



3. Amazon 产品页面

用于从 Amazon 产品(或其他 Amazon)页面获取解析后的数据。将产品页面 URL 作为 --url 传递。脚本发送 parse: true 并输出内部的 results 对象(例如 ads、产品详情等)。

命令:
bash
python3 tools/scrape.py --target amazon --url https://www.amazon.com/dp/PRODUCT_ID

示例:
bash
python3 tools/scrape.py --target amazon --url https://www.amazon.com/dp/B09H74FXNW



4. Amazon 搜索

用于搜索 Amazon 并获取解析后的结果(搜索结果列表、delivery_postcode 等)。将搜索查询作为 --query 传递。

命令:
bash
python3 tools/scrape.py --target amazon_search --query 你的搜索查询

示例:
bash
python3 tools/scrape.py --target amazon_search --query 笔记本电脑



5. YouTube 字幕

用于获取 YouTube 视频的字幕/转录文本。将 视频 ID(例如来自 youtube.com/watch?v=VIDEO_ID)作为 --query 传递。

命令:
bash
python3 tools/scrape.py --target youtubesubtitles --query VIDEOID

示例:
bash
python3 tools/scrape.py --target youtube_subtitles --query dFu9aKJoqGg



6. Reddit 帖子

用于获取 Reddit 帖子(主题)的内容。将完整的帖子 URL 作为 --url 传递。

命令:
bash
python3 tools/scrape.py --target reddit_post --url https://www.reddit.com/r/SUBREDDIT/comments/ID/...

示例:
bash
python3 tools/scrape.py --target redditpost --url https://www.reddit.com/r/nba/comments/17jrqc5/seriousnextdaythreadpostgamediscussion/



7. Reddit 子版块

用于获取 Reddit 子版块的列表(帖子)。将子版块 URL 作为 --url 传递。

命令:
bash
python3 tools/scrape.py --target reddit_subreddit --url https://www.reddit.com/r/SUBREDDIT/

示例:
bash
python3 tools/scrape.py --target reddit_subreddit --url https://www.reddit.com/r/nba/



总结


操作目标参数示例命令
搜索googlesearch--querypython3 tools/scrape.py --target googlesearch --query 笔记本电脑
抓取页面
universal | --url | python3 tools/scrape.py --target universal --url https://example.com |
| Amazon 产品 | amazon | --url | python3 tools/scrape.py --target amazon --url https://www.amazon.com/dp/B09H74FXNW |
| Amazon 搜索 | amazonsearch | --query | python3 tools/scrape.py --target amazonsearch --query 笔记本电脑 |
| YouTube 字幕 | youtubesubtitles | --query | python3 tools/scrape.py --target youtubesubtitles --query dFu9aKJoqGg |
| Reddit 帖子 | redditpost | --url | python3 tools/scrape.py --target redditpost --url https://www.reddit.com/r/nba/comments/17jrqc5/... |
| Reddit 子版块 | redditsubreddit | --url | python3 tools/scrape.py --target redditsubreddit --url https://www.reddit.com/r/nba/ |

输出:搜索 → JSON(部分)。抓取 URL → Markdown。Amazon / Amazon 搜索 → JSON(结果,例如 ads、产品信息、delivery_postcode)。YouTube → 转录文本。Reddit → JSON(内容)。

标签

skill ai

通过对话安装

该技能支持在以下平台通过对话安装:

OpenClaw WorkBuddy QClaw Kimi Claude

方式一:安装 SkillHub 和技能

帮我安装 SkillHub 和 decodo-scraper-1776419996 技能

方式二:设置 SkillHub 为优先技能安装源

设置 SkillHub 为我的优先技能安装源,然后帮我安装 decodo-scraper-1776419996 技能

通过命令行安装

skillhub install decodo-scraper-1776419996

下载

⬇ 下载 decodo-scraper v1.1.0(免费)

文件大小: 6.5 KB | 发布时间: 2026-4-17 19:02

v1.1.0 最新 2026-4-17 19:02
Expanded support for new content types: now includes Amazon, YouTube, and Reddit scraping.

- Added commands to scrape Amazon product pages and Amazon search results (outputs structured JSON).
- Added the ability to fetch YouTube video subtitles using the video ID.
- Added support for scraping content and listings from Reddit posts and subreddits.
- Google search output is now a structured JSON object with clearly described sections.
- Documentation improved with detailed usage examples and updated summary table.

Archiver·手机版·闲社网·闲社论坛·羊毛社区· 多链控股集团有限公司 · 苏ICP备2025199260号-1

Powered by Discuz! X5.0   © 2024-2025 闲社网·线报更新论坛·羊毛分享社区·http://xianshe.com

p2p_official_large
返回顶部