Scrapling Fetch Basic

基础版网页抓取工具，快速高效，适合大多数场景。

主要功能

🌐 网页内容抓取

• - 智能正文提取：自动识别并提取网页正文内容，无需手动指定选择器
• Markdown 输出：将 HTML 自动转换为干净的 Markdown 格式
• 字符数控制：支持自定义最大输出字符数（默认 30000）

🔓 反爬绕过

• - Cloudflare Turnstile：stealth 模式可绕过 Cloudflare 反爬验证
• 浏览器指纹伪装：隐身模式下模拟真实浏览器

🎯 模式选择

• - basic 模式：快速 HTTP 抓取，适合静态页面（默认）
• stealth 模式：隐身浏览器抓取，适合有反爬保护的网站

快速开始

bash

基础抓取

python3 scripts/scrapling_fetch.py https://example.com/article

指定字符数

python3 scripts/scrapling_fetch.py https://example.com/article 50000

绕过反爬保护

python3 scripts/scrapling_fetch.py https://protected-site.com --mode stealth

JSON 输出

python3 scripts/scrapling_fetch.py https://example.com --json

正文选择器（11个）

按优先级自动尝试：

1. 1. article - HTML5 article 元素
2. main - HTML5 main 主元素
3. .post-content - 博客常见内容区域
4. .article-content - 新闻常见内容区域
5. .entry-content - WordPress 常见
6. .post-body - 文章正文
7. [class=body] - 包含 body 的类名
8. [class=content] - 包含 content 的类名
9. #content - content ID
10. #main - main ID
11. body - 最后回退

依赖

包名	用途
scrapling	爬虫核心框架
html2text

HTML 转 Markdown | | playwright | 浏览器自动化（stealth 模式） |

使用场景

• - ✅ 抓取博客文章
• ✅ 抓取新闻页面
• ✅ 抓取公告文档
• ✅ 绕过基础反爬保护
• ⚠️ 微信公众号文章（支持有限，建议使用专业版）

对比专业版

特性	基础版	专业版
抓取模式	basic / stealth	basic / stealth / auto
选择器数量

11 个 | 16 个 | | 微信公众号 | ⚠️ 有限支持 | ✅ 完整支持 | | 噪音清理 | ❌ | ✅ 微信专用清理 | | 自动检测 | ❌ | ✅ 智能模式选择 |

---

版本: 1.0.0 作者: OpenClaw