闲社服务运行正常AI智能体自动化平台
X

XCrawl爬虫

技能标识:XCrawl Scraper

XCrawl - AI-Powered Web Scraping API / AI 驱动网页爬虫,支持结构化数据提取

作者:admin | 来源记录:ClawHub
登记来源
ClawHub
版本
V 1.0.0
检测标记
后台标记通过
免费
免费获取
0
收藏
来源与检测标记为平台登记信息,并不代表已展示可复核的检测报告。使用前请核对版本、依赖和所需权限,建议先在隔离环境中运行。
概述
安装方式
版本历史

XCrawl爬虫


Python
许可证

🕷️ XCrawl Scraper / XCrawl 网页爬虫


AI驱动的网页抓取API - 结构化数据提取利器

支持 Markdown、HTML、JSON、截图等多种格式输出




✨ 功能特点 / Features


功能说明
🏷️ 网页爬取支持 Markdown、HTML、JSON、截图
🔍 搜索
搜索引擎结果爬取 |
| 🗺️ 网站地图 | 自动发现站点所有页面 |
| 🕷️ 站点爬取 | 批量爬取整个站点 |
| 📊 结构化数据 | JSON Schema 自动提取结构化数据 |
| 🌐 代理支持 | 全球代理可选 |


📦 安装 / Installation

方式一:运行安装脚本

bash
scripts\install.bat

方式二:手动安装

bash

1. 安装依赖


pip install xcrawl

2. 配置 API Key

python scripts\xcrawlscraper.py set-key YOURAPI_KEY

⚙️ 获取 API Key

  1. 1. 访问 https://xcrawl.com 注册账号
  2. 获取 API Key
  3. 配置:

bash
python scripts\xcrawlscraper.py set-key YOURAPI_KEY



📖 使用方法 / Usage

1. 爬取网页 (基本)

bash
python scripts\xcrawl_scraper.py scrape https://example.com markdown

2. 爬取多个格式

bash
python scripts\xcrawl_scraper.py scrape https://example.com markdown html links

3. 结构化数据提取 (JSON)

bash
python scripts\xcrawl_scraper.py scrape https://example.com json 提取产品名称和价格

4. 搜索

bash
python scripts\xcrawl_scraper.py search web scraping

5. 网站地图

bash
python scripts\xcrawl_scraper.py map https://example.com

6. 站点爬取

bash
python scripts\xcrawl_scraper.py crawl https://example.com



📋 命令列表


命令说明
scrape <URL> [formats...]爬取网页
search <query>
搜索 |
| map | 网站地图 |
| crawl | 站点爬取 |
| set-key | 设置 API Key |
| config | 显示配置 |


🔧 配置 / Configuration

配置文件: scripts/config.json

json
{
apiKey: YOURAPIKEY,
apiUrl: https://run.xcrawl.com,
timeout: 60,
defaultFormats: [markdown],
defaultProxy:
}



📝 示例输出

Markdown 输出

markdown

Example Domain

This domain is for use in illustrative examples in documents.

JSON 输出

json
{
product_name: iPhone 15 Pro,
price: 999,
currency: USD
}



📦 依赖

  • - Python >= 3.8
  • xcrawl SDK

🤝 贡献 / Contributing

欢迎提交 Issue 和 Pull Request!



📄 许可证

MIT License



🕷️ 由 XCrawl 提供支持

标签

skill ai

通过对话安装

以下为平台配置的接入选项,并非逐项实测通过。能否安装取决于客户端支持、技能来源和运行环境:

OpenClaw WorkBuddy QClaw Kimi Claude

方式一:安装 SkillHub 和技能

帮我安装 SkillHub 和 xcrawl-scraper-1776005882 技能

方式二:设置 SkillHub 为优先技能安装源

设置 SkillHub 为我的优先技能安装源,然后帮我安装 xcrawl-scraper-1776005882 技能

通过命令行安装

skillhub install xcrawl-scraper-1776005882

下载

⬇ 下载 XCrawl Scraper v1.0.0(免费)

文件大小: 5.33 KB | 发布时间: 2026-4-13 12:38

v1.0.0 最新 2026-4-13 12:38
XCrawl Scraper 1.0.0 – Initial Release

- Launches an AI-powered web scraping tool supporting output in Markdown, HTML, JSON, and screenshots.
- Enables structured data extraction using JSON Schema.
- Features web crawling, site search, site mapping, and batch site scraping.
- Supports global proxy and easy configuration via command line.
- Provides simple installation and usage instructions for quick setup.
返回顶部