Web Crawl Skill
Advanced web content extraction with multiple modes and intelligent content detection.
When to Use
Use this skill when:
- - User asks to "研究" / "深度研究" a topic
- User wants to "抓取" / "提取" content from websites
- Need to analyze multiple web pages systematically
- Current
web_fetch output is insufficient
Extraction Modes
| Mode | Use Case |
|---|
| INLINECODE1 | Clean plain text |
| INLINECODE2 |
Formatted Markdown (recommended) |
|
links | Extract all links |
|
structured | JSON metadata + content |
|
full | Markdown + links combined |
Tools Available
- -
web_crawl - Extract content from a single URL - INLINECODE7 - Extract from multiple URLs in parallel
- INLINECODE8 - Multi-step research with search + crawl
Example Usage
CODEBLOCK0
Web 爬取技能
支持多种模式与智能内容检测的高级网页内容提取功能。
使用时机
在以下情况使用此技能：
- - 用户要求研究/深度研究某个主题
- 用户希望从网站抓取/提取内容
- 需要系统性地分析多个网页
- 当前 web_fetch 输出结果不足
提取模式
格式化 Markdown（推荐） |
| links | 提取所有链接 |
| structured | JSON 元数据 + 内容 |
| full | Markdown + 链接组合 |
可用工具
- - webcrawl - 从单个 URL 提取内容
- parallelcrawl - 并行从多个 URL 提取内容
- research_topic - 结合搜索与爬取的多步骤研究
使用示例
用户：研究一下 OpenManus-Max 项目
→ 使用 research_tool 工具，查询词为 OpenManus-Max GitHub features
