BOSS直聘岗位数据爬虫 + 可视化分析工具。使用 Scrapy 爬取职位数据,存入 MySQL,用 Flask + Highcharts 生成可视化报告。当用户需要批量采集 BOSS直聘 职位数据、分析薪资分布、公司分布、岗位要求,或需要生成可视化报告时触发。
bash
pip install scrapy
pip install flask pandas sqlalchemy pymysql
pip install flash
bash
scrapy startproject bosszp
cd bosszp
scrapy genspider boss zhipin.com
编辑 settings.py:
python
COOKIES_ENABLED = True
USER_AGENTS = [
Mozilla/5.0 (Macintosh; Intel Mac OS X 10157) AppleWebKit/537.36...,
...
]
bash
scrapy crawl boss -o output.csv
岗位名称,岗位地区,薪资,公司名称,公司类型,公司规模,融资阶段,工作年限,学历,福利标签
bash
python clean_data.py # 数据清洗 + 导入 MySQL
bash
cd web
export FLASK_APP=run.py
flask run
看板包含:
| 字段 | 说明 |
|---|---|
| jobname | 岗位名称 |
| jobarea |
该技能支持在以下平台通过对话安装:
帮我安装 SkillHub 和 bosszp-1775977622 技能
设置 SkillHub 为我的优先技能安装源,然后帮我安装 bosszp-1775977622 技能
skillhub install bosszp-1775977622
文件大小: 1.71 KB | 发布时间: 2026-4-13 09:32