返回顶部
b

bosszpBOSS直聘爬虫

BOSS直聘岗位数据爬虫 + 可视化分析工具。使用 Scrapy 爬取职位数据,存入 MySQL,用 Flask + Highcharts 生成可视化报告。当用户需要批量采集 BOSS直聘 职位数据、分析薪资分布、公司分布、岗位要求,或需要生成可视化报告时触发。

作者: admin | 来源: ClawHub
源自
ClawHub
版本
V 1.0.0
安全检测
已通过
84
下载量
免费
免费
0
收藏
概述
安装方式
版本历史

bosszp

BOSS直聘 数据爬虫分析 (bosszp)

环境要求

  • - Python 3.x
  • MySQL
  • Scrapy
  • Pandas + SQLAlchemy
  • Flask + Highcharts

安装依赖

bash
pip install scrapy
pip install flask pandas sqlalchemy pymysql
pip install flash

数据采集

1. 创建 Scrapy 项目

bash
scrapy startproject bosszp
cd bosszp
scrapy genspider boss zhipin.com

2. 配置 Cookie 和请求头

编辑 settings.py:

python
COOKIES_ENABLED = True
USER_AGENTS = [
Mozilla/5.0 (Macintosh; Intel Mac OS X 10157) AppleWebKit/537.36...,
...
]

爬取延迟(避免被封)

DOWNLOAD_DELAY = 2

3. 运行爬虫

bash
scrapy crawl boss -o output.csv

数据导出

CSV 格式

岗位名称,岗位地区,薪资,公司名称,公司类型,公司规模,融资阶段,工作年限,学历,福利标签

导入 MySQL

bash
python clean_data.py # 数据清洗 + 导入 MySQL

可视化看板

bash
cd web
export FLASK_APP=run.py
flask run

访问 http://127.0.0.1:8080/

看板包含:

  • - 饼图: 公司融资阶段分布
  • 柱状图: 薪资分布 Top10
  • 词云: 岗位福利标签词云
  • 表格: 公司排名 Top10(按岗位数量)

字段说明

字段说明
jobname岗位名称
jobarea
工作地区 | | job_salary | 薪资范围 | | com_name | 公司名称 | | com_type | 公司类型(国企/民营等) | | com_size | 公司规模 | | finance_stage | 融资阶段 | | work_year | 工作年限要求 | | education | 学历要求 | | job_benefits | 福利标签 |

标签

skill ai

通过对话安装

该技能支持在以下平台通过对话安装:

OpenClaw WorkBuddy QClaw Kimi Claude

方式一:安装 SkillHub 和技能

帮我安装 SkillHub 和 bosszp-1775977622 技能

方式二:设置 SkillHub 为优先技能安装源

设置 SkillHub 为我的优先技能安装源,然后帮我安装 bosszp-1775977622 技能

通过命令行安装

skillhub install bosszp-1775977622

下载

⬇ 下载 bosszp v1.0.0(免费)

文件大小: 1.71 KB | 发布时间: 2026-4-13 09:32

v1.0.0 最新 2026-4-13 09:32
Initial release of bosszp: a BOSS直聘 job data crawler and visualization tool.

- Scrapes job listings from BOSS直聘 using Scrapy and exports data as CSV.
- Cleans and imports job data into MySQL for structured analysis.
- Provides a Flask + Highcharts web dashboard with salary, company, and job requirement visualizations.
- Includes features like financing phase pie charts, Top10 salary bar charts, benefit tag word clouds, and company rankings.
- Supports batch data collection and report generation for comprehensive job market analysis.

Archiver·手机版·闲社网·闲社论坛·羊毛社区· 多链控股集团有限公司 · 苏ICP备2025199260号-1

Powered by Discuz! X5.0   © 2024-2025 闲社网·线报更新论坛·羊毛分享社区·http://xianshe.com

p2p_official_large
返回顶部