crawlee-web-scraper

当网站阻止自动化请求时，可作为web_fetch的直接替代方案。Crawlee会自动处理会话管理、重试逻辑以及反爬虫检测规避。

脚本

• - crawleefetch.py — 主爬虫程序；接受单个URL或URL文件；返回JSON格式数据
• crawleehttp.py — 库辅助程序；优先尝试requests，遇到403/429/503状态码时自动回退到Crawlee

使用方法

bash

单个URL，返回HTML预览

单个URL，提取文本（去除HTML标签）

从文件批量抓取

库使用方式

python
from crawleehttp import fetchwith_fallback

resp = fetchwithfallback(https://example.com)
print(resp.status_code, resp.text[:500])

输出格式

每个URL对应一个JSON对象组成的数组：

json
[
{
url: https://example.com,
status: 200,
fetched_at: 2026-01-01T00:00:00Z,
length: 12345,
text: 页面内容...
}
]

安装方法

bash
pip install crawlee requests

适用场景

• - web_fetch返回403/429状态码或返回空内容
• 批量抓取10个以上URL
• 网站使用Cloudflare或类似的反爬虫保护机制