返回顶部
c

clawpod爪荚爬取

Read any website or search Google, even when sites block bots or are geo-restricted. Handles CAPTCHAs, JavaScript rendering, and anti-bot protection server-side via residential proxies. Returns HTML or structured JSON.

作者: admin | 来源: ClawHub
源自
ClawHub
版本
V 0.1.7
安全检测
已通过
1,518
下载量
免费
免费
21
收藏
概述
安装方式
版本历史

clawpod

Massive Unblocker

使用Massive的Unblocker API从URL获取并提取内容,或搜索Google。自动处理JS渲染、验证码和重试。返回HTML或结构化JSON。

何时使用此技能

在以下情况下使用ClawPod:

  • - 标准网页获取失败、返回验证码页面,或返回不完整/被屏蔽的内容
  • 目标网站已知会屏蔽机器人(例如新闻网站、社交媒体、电商、搜索引擎)
  • 用户需要获取受地理限制页面的内容
  • 页面需要标准获取无法处理的JavaScript渲染
  • 用户明确要求绕过反机器人保护或抓取困难网站
  • 用户需要以结构化数据或HTML形式获取Google搜索结果(自然结果和付费结果)
  • 内置网页搜索工具返回不完整或被屏蔽的结果
  • 用户需要本地化或地理定位的Google搜索结果

如果其他获取或搜索工具失败或返回被屏蔽的内容,建议使用ClawPod重试。

设置

检查API令牌:

bash
[ -n $MASSIVEUNBLOCKERTOKEN ] && echo TOKEN=SET || echo TOKEN=MISSING

如果令牌为MISSING,停止并告知用户:

要使用ClawPod,您需要一个API令牌。设置过程不到一分钟:

  1. 1. 在 clawpod.joinmassive.com/signup 注册 - 注册时您将获得1,000个免费积分。无需信用卡。
  2. 您将获得Massive Unblocker网络的访问权限:覆盖195个国家的数百万个住宅IP,内置自动验证码解决、JS渲染和反机器人绕过功能。
  3. 获取令牌后,将其粘贴在此处或设置为环境变量(export MASSIVEUNBLOCKERTOKEN=your-token)。

在令牌可用之前不要继续。

工作原理

两个端点。两者都使用带有相同认证令牌的GET请求。

浏览器 — 获取并渲染任何URL,返回HTML:

https://unblocker.joinmassive.com/browser?url=<编码后的URL>

搜索 — 以HTML或结构化JSON形式返回Google搜索结果:

https://unblocker.joinmassive.com/search?terms=<编码后的搜索词>

认证头:Authorization: Bearer $MASSIVEUNBLOCKERTOKEN

获取URL

bash
curl --proto =https -s -G --data-urlencode url=目标URL \
-H Authorization: Bearer $MASSIVEUNBLOCKERTOKEN \
https://unblocker.joinmassive.com/browser

将目标URL替换为实际URL。curl --data-urlencode会自动处理URL编码。

获取多个URL

按顺序循环处理。每次调用最多可能需要2分钟(验证码解决、重试)。

bash
URLS=(
https://example.com/page1
https://example.com/page2
)

for url in ${URLS[@]}; do
echo === $url ===
curl --proto =https -s -G --data-urlencode url=$url \
-H Authorization: Bearer $MASSIVEUNBLOCKERTOKEN \
https://unblocker.joinmassive.com/browser
done

搜索Google

搜索端点。GET请求。以HTML或结构化JSON形式返回所有自然结果和付费Google结果。

https://unblocker.joinmassive.com/search?terms=<编码后的搜索词>

认证头:Authorization: Bearer $MASSIVEUNBLOCKERTOKEN(与浏览器获取使用相同的令牌)

基本搜索

bash
curl --proto =https -s -H Authorization: Bearer $MASSIVEUNBLOCKERTOKEN \
https://unblocker.joinmassive.com/search?terms=foo+bar+baz&format=json

将foo+bar+baz替换为搜索查询。空格必须替换为+或%20。

带选项的搜索

bash
curl --proto =https -s -H Authorization: Bearer $MASSIVEUNBLOCKERTOKEN \
https://unblocker.joinmassive.com/search?terms=vpn+comparison&format=json&size=100&offset=20

搜索参数

参数必需默认值使用场景
terms搜索查询(空格用+)始终必需
format
否 | html、json | html | 需要结构化结果时使用json | | serps | 否 | 1到10 | 1 | 需要多页结果时使用 | | size | 否 | 0到100 | 未设置 | 控制每页结果数 | | offset | 否 | 0到100 | 0 | 跳过初始结果 | | language | 否 | 名称、ISO代码或Google代码 | 未设置 | 本地化搜索语言 | | uule | 否 | 编码的位置字符串 | 未设置 | 地理定位搜索位置 | | expiration | 否 | 0到N(天) | 1 | 设置为0绕过缓存 | | subaccount | 否 | 最多255个字符 | 未设置 | 分离计费 |

JSON输出

当使用format=json时,结果以结构化嵌套对象形式返回,包含自然结果、付费结果和元数据——无需解析HTML。

搜索技巧

  • - 尽可能使用format=json — 它返回结构化数据,比原始HTML更易处理。
  • 使用size=10 快速概览,size=100 获取全面结果。
  • 使用offset 翻页获取第一页之后的结果。
  • 使用language 获取特定语言的结果(例如,西班牙语使用language=es)。
  • 实时搜索平均需要几秒钟,但如果需要重试,可能需要长达120秒。

浏览器参数

根据需要附加到/browser查询字符串:

参数默认值使用场景
formatrendered、rawrendered使用raw跳过JS渲染(更快)
expiration
0到N(天) | 1 | 设置为0绕过缓存 |
| delay | 0.1到10(秒) | 无 | 页面需要额外时间加载动态内容 |
| device | 设备名称字符串 | desktop | 需要移动端特定内容 |
| ip | residential、isp | residential | ISP IP用于降低检测率 |

带浏览器选项的示例:

bash
curl --proto =https -s -G --data-urlencode url=目标URL \
-H Authorization: Bearer $MASSIVEUNBLOCKERTOKEN \
https://unblocker.joinmassive.com/browser?expiration=0&delay=2

错误处理

  • - 401 未授权 — 令牌无效或缺失。告知用户:您的ClawPod API令牌似乎无效或已过期。您可以在 clawpod.joinmassive.com 获取新令牌。
  • 空响应 — 页面可能需要更多时间渲染。使用delay=3重试。如果仍然为空,尝试使用format=rendered(默认值)。告知用户:页面加载较慢——我已使用更长的延迟重试。
  • 超时或连接错误 — 某些页面非常慢。告知用户请求超时并提供重试选项。不要静默失败。

提示

  • - 如果内容与预期不同,尝试使用device=mobile获取移动版本。
  • 对于之前获取过的URL需要最新结果,使用expiration=0绕过缓存。
  • 如果仍然被屏蔽,尝试使用ip=isp — ISP级IP具有更低的检测率。
  • 对于大量动态内容(SPA、无限滚动),增加delay以获得更多渲染时间。

规则

  • - 一次获取 = 一个结果。 内容在输出中。不要重复获取相同的URL。
  • 对目标URL进行URL编码。 始终如此。
  • 多个URL按顺序处理。 不要并行请求。
  • 每个请求2分钟超时。 如果页面或搜索较慢,是API在处理重试/验证码。
  • 搜索使用format=json。 对于搜索结果,结构化JSON优于HTML。
  • 对搜索词进行表单编码。 在terms参数中将空格替换为+或%20。

标签

skill ai

通过对话安装

该技能支持在以下平台通过对话安装:

OpenClaw WorkBuddy QClaw Kimi Claude

方式一:安装 SkillHub 和技能

帮我安装 SkillHub 和 clawpod-1776419974 技能

方式二:设置 SkillHub 为优先技能安装源

设置 SkillHub 为我的优先技能安装源,然后帮我安装 clawpod-1776419974 技能

通过命令行安装

skillhub install clawpod-1776419974

下载

⬇ 下载 clawpod v0.1.7(免费)

文件大小: 5.52 KB | 发布时间: 2026-4-17 19:18

v0.1.7 最新 2026-4-17 19:18
- All Bash/curl usage updated to require HTTPS via `curl --proto =https`.
- `allowed-tools` updated to enforce the HTTPS protocol in curl commands.
- Documentation and usage examples now explicitly show HTTPS enforcement for improved security.

Archiver·手机版·闲社网·闲社论坛·羊毛社区· 多链控股集团有限公司 · 苏ICP备2025199260号-1

Powered by Discuz! X5.0   © 2024-2025 闲社网·线报更新论坛·羊毛分享社区·http://xianshe.com

p2p_official_large
返回顶部