返回顶部
w

web-intel网络情报

网络搜索与信息提取统一入口。整合 content-extraction、Jina Reader、Firecrawl、web-access CDP。自动选最经济工具链。可被 BMW(brand-marketing-workflow)、wealth 子代理等直接调用。

作者: admin | 来源: ClawHub
源自
ClawHub
版本
V 1.0.0
安全检测
已通过
93
下载量
免费
免费
0
收藏
概述
安装方式
版本历史

web-intel

Web Intel — 统一网络检索层

职责边界

本技能是路由层,不重写任何已有工具。调度链:

web-intel
├── content-extraction/scripts/extract_router.py (URL 分类)
├── r.jina.ai (轻量全文提取)
├── firecrawl CLI (搜索 + 抓取)
└── web-access CDP Proxy (localhost:3456) (登录态/反爬)

三档模式

模式场景Token 消耗延迟
fast只需标题+摘要,快速定位~200-500<2s
standard
需完整页面正文 | ~500-2000 | 2-8s | | deep | 登录内容 / JS重渲染 / 反爬站点 | ~2000-8000 | 10-30s |

决策树

A. 搜索任务(给关键词)

[fast] firecrawl search query --limit 5
→ 返回 title + url + snippet

[standard] firecrawl search + Jina 提取 top-1 全文
→ tool: firecrawl_search+jina

[deep] firecrawl search --scrape --limit 5
→ 反爬/登录页面可升级到 web-access CDP

B. 提取任务(给 URL)

Step 0: extract_router.py 判断 URL 类型
→ 微信/飞书/YouTube → 委托 skills/content-extraction(专用 handler)
→ 通用网页 → 继续

[fast] curl https://r.jina.ai/
[standard] Jina 优先;失败 → firecrawl scrape
[deep] web-access CDP(localhost:3456)优先;降级 Jina → firecrawl scrape

C. 证券/财经(--type finance)

fast: firecrawl search $TICKER 财报/行情/股价 --limit 5
standard: 同 fast + Jina 提取 top-1(东方财富/雪球)
deep: → skills/stock-research-engine(完整基本面分析)

D. 竞品研究(--type competitor,BMW 使用)

fast: firecrawl search 品牌名 营销/产品/用户反馈 --limit 5
standard: fast + Jina 提取各结果全文
deep: firecrawl search --scrape;需要 CDP 的站点走 web-access

调用约定(供其他技能/子代理)

bash

搜索


python3 ~/.openclaw/workspace/skills/web-intel/scripts/web_intel.py \
--query 比亚迪Q1财报 --mode fast --type finance

URL 提取

python3 ... --url https://example.com --mode standard

竞品研究(BMW 调用)

python3 ... --query 小米SU7营销策略 --mode standard --type competitor

标准输出(JSON stdout)
json
{
query: ...,
mode: fast,
type: finance,
toolused: firecrawlsearch,
results: [{title: ..., url: ..., snippet: ...}],
full_content: null,
webaccessavailable: true,
latency_ms: 1200
}

web-access CDP 集成说明

web-access 通过 CDP Proxy(localhost:3456)直连用户 Chrome,天然携带登录态。

启动 CDP Proxy(deep 模式前置):
bash
bash ~/.openclaw/workspace/skills/web-access/scripts/check-deps.sh

web-intel 在 deep 模式下自动检测 CDP 可用性(webaccessavailable 字段)。CDP 可用时优先用于提取;不可用时降级到 Jina/Firecrawl。

不包含的能力(直接引用现有技能)

需求使用技能
微信公众号提取skills/content-extraction(handler=browser)
飞书文档提取
skills/content-extraction(handler=feishu) | | YouTube 转录 | skills/content-extraction(handler=transcript) | | 浏览器交互/表单 | skills/browser + browser-use | | 个股深度研究 | skills/stock-research-engine | | 本地记忆搜索 | skills/search-memory | | CDP 站点经验库 | skills/web-access/references/site-patterns/ |

标签

skill ai

通过对话安装

该技能支持在以下平台通过对话安装:

OpenClaw WorkBuddy QClaw Kimi Claude

方式一:安装 SkillHub 和技能

帮我安装 SkillHub 和 web-intel-1775935520 技能

方式二:设置 SkillHub 为优先技能安装源

设置 SkillHub 为我的优先技能安装源,然后帮我安装 web-intel-1775935520 技能

通过命令行安装

skillhub install web-intel-1775935520

下载

⬇ 下载 web-intel v1.0.0(免费)

文件大小: 5.96 KB | 发布时间: 2026-4-12 11:55

v1.0.0 最新 2026-4-12 11:55
- Initial release providing a unified entry point for web search and information extraction.
- Integrates multiple tools: content-extraction, Jina Reader, Firecrawl, and web-access CDP, with automatic routing for optimal cost and performance.
- Supports three operation modes (fast, standard, deep) with adaptive tool selection and workflow.
- Can be directly invoked by other agents, including BMW (brand-marketing-workflow) and wealth sub-agents.
- Outputs standardized JSON results, including diagnostic fields such as tool_used, latency, and web_access_available.
- Delegates specialized extraction tasks (e.g., WeChat, Feishu, YouTube) to dedicated handlers without duplicating logic.

Archiver·手机版·闲社网·闲社论坛·羊毛社区· 多链控股集团有限公司 · 苏ICP备2025199260号-1

Powered by Discuz! X5.0   © 2024-2025 闲社网·线报更新论坛·羊毛分享社区·http://xianshe.com

p2p_official_large
返回顶部