示例：
bash
python3 scripts/rss_fetcher.py https://www.solidot.org/index.rss 5

2. 爬取具体网页内容

bash
python3 scripts/crawl.py [max_length]

示例：
bash
python3 scripts/crawl.py https://example.com/news/article.html 3000

工作流程

生成新闻日报

1. 1. 选择新闻源 - 从常用源中选择或用户提供RSS地址
2. 获取新闻列表 - 使用 rss_fetcher.py 获取最新文章
3. 爬取详细内容 - 对每篇文章使用 crawl.py 获取全文
4. 生成摘要 - 使用 LLM 总结每篇文章的核心内容
5. 整理报告 - 按类别或时间排序，生成结构化日报

支持的RSS源

常用中文科技新闻源：

• - Solidot: https://www.solidot.org/index.rss
• TechWeb: https://www.techweb.com.cn/rss/all.xml
• 36氪: https://36kr.com/feed

国际源：

• - Hacker News: https://news.ycombinator.com/rss
• TechCrunch: https://techcrunch.com/feed/

输出格式

rss_fetcher.py 输出：
json
{
items: [
{
title: 文章标题,
link: 文章链接,
description: 简介,
published: 发布时间
}
],
count: 10
}

crawl.py 输出：
json
{
url: 原始链接,
title: 页面标题,
content: 正文内容,
length: 5000
}

注意事项

1. 1. 尊重robots.txt - 爬取前检查目标网站的爬虫协议
2. 控制频率 - 避免频繁请求同一网站
3. 内容长度 - 默认截取5000字符，可通过参数调整
4. 编码问题 - 脚本已处理UTF-8编码，特殊网站可能需要额外处理

扩展开发

如需支持更多功能，可参考：

• - references/rss_sources.md - 更多RSS源列表
• 添加定时任务支持（结合 cron）
• 添加飞书/邮件推送功能