网页抓取技能

使用 Scrapling 获取网页内容，返回纯文本或选择器结果。

安装依赖

bash
pip install scrapling[all]
scrapling install
pip install httpx

用法

1) 直接抓取纯文本

bash
python scripts/scrape_web.py --url https://example.com

2) 使用 CSS 选择器

bash
python scripts/scrape_web.py --url https://example.com --selector title::text

3) 保存到文件

bash
python scripts/scrape_web.py --url https://example.com --out output.txt