Smart Scraper

智能网页抓取工具，能够理解页面结构。

特性

• - 自动检测：自动识别列表、文章或表格布局
• 智能提取：从非结构化文本中解析价格、日期和URL
• 多格式输出：支持JSON、CSV或Markdown格式
• 滚动支持：处理无限滚动页面

使用方法

bash

提取产品列表

smart-scraper --url https://example.com/products --type list

提取文章内容

smart-scraper --url https://example.com/article --type article --format markdown

提取表格数据

smart-scraper --url https://example.com/data --type table --format csv

选项

选项	描述	默认值
--url, -u	目标URL（必填）	-
--type, -t

提取类型：list、article、table、auto | auto | | --format, -f | 输出格式：json、csv、markdown | json | | --max, -m | 最大提取数量 | 100 | | --scroll | 启用自动滚动以加载延迟内容 | false |

示例

提取Hacker News

bash smart-scraper -u https://news.ycombinator.com -t list -m 10

将文章保存为Markdown

bash smart-scraper -u https://blog.example.com/post -t article -f markdown > article.md

将表格导出为CSV

bash smart-scraper -u https://example.com/prices -t table -f csv > prices.csv