Scrapling 技能

使用 Scrapling 框架进行安全的网页数据抓取和内容提取。

安全说明

仅用于合法用途，严格遵守以下限制：

• - ✅ 仅抓取公开网站：遵守 robots.txt 和网站服务条款
• ✅ 路径输出受限：结果文件只能保存到用户主目录
• ✅ 无危险函数：不使用 eval/exec 等危险函数
• ✅ 严格的超时控制：防止无限等待
• ✅ 频率限制：自动添加请求延迟，避免对目标造成压力
• ❌ 禁止抓取私有内容：仅抓取公开可访问页面
• ❌ 禁止大规模爬取：默认并发限制为 1

核心功能

• - 🕷️ 多种抓取模式：HTTP/隐身/浏览器自动化
• 🎯 智能元素定位：自适应选择器，网站改版后仍有效
• 📄 数据提取：CSS/XPath/文本/正则搜索
• 💾 结果保存：保存到 JSON/TXT/MD 文件（路径受限）
• 🔍 内容解析：类似 Scrapy 的 API，易于使用

使用场景

• - 抓取公开新闻和资讯
• 提取商品信息（电商网站）
• 收集公开数据（天气、股票等）
• 网站内容监控

触发词

• - scrapling 抓取...
• scrapling 提取...
• scrapling 爬取...
• scrapling 获取...

快速开始

基本抓取

bash

HTTP 请求抓取

scrapling get https://example.com --output ~/result.json

隐身模式抓取

scrapling stealthy https://example.com --output ~/result.json

浏览器自动化（动态内容）

scrapling dynamic https://example.com --output ~/result.json

指定选择器

bash

使用 CSS 选择器

scrapling get https://quotes.toscrape.com --css-selector .quote --output ~/quotes.json

提取特定字段

scrapling get https://quotes.toscrape.com --css-selector .quote .text --output ~/text.txt

高级用法

bash

隐身模式 + 解决 Cloudflare

scrapling stealthy https://nopecha.com/demo/cloudflare --solve-cloudflare --output ~/result.json

并发抓取（限制为 1）

scrapling spider https://example.com --concurrent 1 --output ~/crawl.json

安装要求

• - Python 3.10+
• 需要安装 Scrapling: pip install scrapling[fetchers]
• 需要浏览器依赖：scrapling install

注意事项

• - 需要本地安装 Scrapling 和相关依赖
• 默认请求延迟 1 秒，避免对目标造成压力
• 仅抓取公开可访问的页面
• 遵守 robots.txt 和网站服务条款
• 输出文件路径必须在用户主目录

版本历史

• - 1.0.0 - 初始版本