🩺 Skills Monitor — AI Skills 监控评估平台
🎯 对 AI Skills 进行采集、评估、对比、推荐、诊断、上报的一站式监控系统
✨ 核心能力
1. 7因子综合评估引擎
对每个 Skill 从
成功率、延迟、质量、成本、稳定性、社区热度、兼容性 七个维度进行量化评分，输出 0-100 综合得分。
2. 跨模型基准评测 (TOP1000 × 6 Models)
内置 1000 个热门 Skills 在 6 大主流模型上的完整评测数据：
- - Claude Opus 4.6 / GPT-5.4 / Gemini 3.0 Pro
- GLM-5 / MiniMax 2.5 / DeepSeek 3.2
- 支持
mock (零成本模拟) 和 live (真实 API 调用) 两种模式 - 按 Skill × Model 精确返回差异化基准分数
3. 智能推荐引擎
- - 基于评估得分 + 用户场景自动推荐最优 Skill
- 互补推荐：根据已安装 Skills 的空缺领域推荐
- 升级推荐：发现更优替代方案
- ClawHub 社区数据联动
4. 诊断报告系统
- - 自动生成健康度评分 + 问题发现 + 优化建议
- 支持定时自动诊断 + 安装后自动诊断
- Markdown 格式报告，支持企微/微信推送
5. 中心化 Dashboard
- - Web 实时面板（支持 PWA 移动端）
- 多 Agent 统一管理
- 微信小程序端查看
- 企业微信/微信公众号推送通知
6. 安全与合规
- - OS Keychain 集成 (keyring)，零明文存储
- 敏感信息自动脱敏引擎
- GDPR 合规管理
🚀 快速开始
安装
通过 SkillsHUB 一键安装：
CODEBLOCK0
初始化
CODEBLOCK1
基本使用
CODEBLOCK2
启动 Dashboard
CODEBLOCK3
作为 Python 库使用
CODEBLOCK4
📊 支持的命令
| 命令 | 说明 |
|---|
| INLINECODE2 | 初始化身份（生成 Agent ID + API Key） |
| INLINECODE3 |
查看身份信息 |
|
status | 查看系统状态 |
|
list | 列出已安装 Skills |
|
evaluate | 7因子综合评估 |
|
benchmark | 基准评测运行 |
|
baseline | 查询大模型基准分数 |
|
compare | 对比分析 |
|
recommend | 智能推荐 |
|
report | 生成综合日报 |
|
diagnose | 生成诊断报告（含推送） |
|
upload | 数据上报到中心化服务器 |
|
dashboard | 启动 Web 面板 |
|
server | 启动中心化服务器 |
🏗️ 架构
CODEBLOCK5
📦 依赖
- - Python >= 3.9
- Flask >= 2.3.0
- Flask-SQLAlchemy >= 3.0.0
- requests >= 2.28.0
- pandas >= 1.5.0
- APScheduler >= 3.10.0
- keyring >= 25.0.0
- python-dotenv >= 1.0.0
🔗 生态集成
- - ClawHub: 社区热度数据、Skill 下载安装
- 企业微信: 诊断报告推送
- 微信公众号: 报告查看 + 消息通知
- 微信小程序: 移动端 Dashboard
- PWA: 渐进式 Web 应用支持
📄 许可证
GPL-3.0
👤 作者
MerkyorLynn — GitHub
🩺 Skills Monitor — AI技能监控评估平台
🎯 对AI技能进行采集、评估、对比、推荐、诊断、上报的一站式监控系统
✨ 核心能力
1. 7因子综合评估引擎
对每个技能从
成功率、延迟、质量、成本、稳定性、社区热度、兼容性七个维度进行量化评分，输出0-100综合得分。
2. 跨模型基准评测 (TOP1000 × 6个模型)
内置1000个热门技能在6大主流模型上的完整评测数据：
- - Claude Opus 4.6 / GPT-5.4 / Gemini 3.0 Pro
- GLM-5 / MiniMax 2.5 / DeepSeek 3.2
- 支持mock（零成本模拟）和live（真实API调用）两种模式
- 按技能×模型精确返回差异化基准分数
3. 智能推荐引擎
- - 基于评估得分+用户场景自动推荐最优技能
- 互补推荐：根据已安装技能的空缺领域推荐
- 升级推荐：发现更优替代方案
- ClawHub社区数据联动
4. 诊断报告系统
- - 自动生成健康度评分+问题发现+优化建议
- 支持定时自动诊断+安装后自动诊断
- Markdown格式报告，支持企业微信/微信推送
5. 中心化Dashboard
- - Web实时面板（支持PWA移动端）
- 多Agent统一管理
- 微信小程序端查看
- 企业微信/微信公众号推送通知
6. 安全与合规
- - OS Keychain集成（keyring），零明文存储
- 敏感信息自动脱敏引擎
- GDPR合规管理
🚀 快速开始
安装
通过SkillsHUB一键安装：
bash
方式一：SkillsHUB CLI
skills install skills-monitor
方式二：手动安装
python install_skills.py skills-monitor
初始化
bash
初始化身份（生成Agent ID + API Key）
skills-monitor init
查看身份信息
skills-monitor identity --show-key
基本使用
bash
查看系统状态
skills-monitor status
列出已安装技能
skills-monitor list
运行单个技能并采集数据
skills-monitor run
[task]
7因子综合评估
skills-monitor evaluate --skill
skills-monitor evaluate # 评估所有技能
基准评测
skills-monitor benchmark --runs 20
查询大模型基准分数
skills-monitor baseline --model claude-opus-4.6
对比分析
skills-monitor compare
智能推荐
skills-monitor recommend
生成综合日报
skills-monitor report
生成诊断报告（含推送）
skills-monitor diagnose --send
上报数据到中心化服务器
skills-monitor upload --server https://your-server.com --register
启动Dashboard
bash
本地Web面板
skills-monitor web --port 5050
中心化服务器（含API + 微信回调 + PWA）
skills-monitor server --port 5100
作为Python库使用
python
from skills_monitor import (
SkillEvaluator,
SkillRecommender,
DiagnosticReporter,
BatchBenchmark,
ReportGenerator,
DataUploader,
)
7因子评估
evaluator = SkillEvaluator(store, agent_id)
score = evaluator.evaluate_skill(your-skill-slug)
跨模型基准评测
bench = BatchBenchmark(mode=mock)
baseline = bench.getbaselinefor_skill(your-skill-slug, claude-opus-4.6)
智能推荐
recommender = SkillRecommender(registry, store, agent_id)
recs = recommender.getallrecommendations(maxpertype=5)
诊断报告
diag = DiagnosticReporter(store=store, registry=registry, agentid=agentid)
content, filepath = diag.generateandsave(trigger=manual)
数据上报
uploader = DataUploader(https://your-server.com)
uploader.init(agentid, apikey)
uploader.upload_daily()
📊 支持的命令
| 命令 | 说明 |
|---|
| init | 初始化身份（生成Agent ID + API Key） |
| identity |
查看身份信息 |
| status | 查看系统状态 |
| list | 列出已安装技能 |
| evaluate | 7因子综合评估 |
| benchmark | 基准评测运行 |
| baseline | 查询大模型基准分数 |
| compare | 对比分析 |
| recommend | 智能推荐 |
| report | 生成综合日报 |
| diagnose | 生成诊断报告（含推送） |
| upload | 数据上报到中心化服务器 |
| dashboard | 启动Web面板 |
| server | 启动中心化服务器 |
🏗️ 架构
skills-monitor/
├── skills_monitor/ # 核心Python包
│ ├── core/ # 核心逻辑层
│ │ ├── identity.py # 身份管理
│ │ ├── evaluator.py # 7因子评估引擎
│ │ ├── benchmark.py # 基准运行器
│ │ ├── recommender.py # 推荐引擎
│ │ ├── diagnostic.py # 诊断报告
│ │ ├── reporter.py # 报告生成器
│ │ ├── uploader.py # 数据上报
│ │ ├── llm_baseline.py # LLM基准评测
│ │ └── ... # 更多模块
│ ├── adapters/ # 适配器层
│ │ ├── skill_registry.py # 技能注册发现
│ │ ├── clawhub_client.py # ClawHub社区
│ │ └── runners.py # 运行适配器
│ └── data/ # 数据层
│ ├── store.py # SQLite存储
│ ├── gdpr_manager.py # GDPR合规
│ └── top1000skillsdataset.json
├── server/ # 中心化服务器
├── miniprogram/ # 微信小程序
├── main.py # 技能入口
├── skill.json # 技能配置
└── requirements.txt # 依赖清单
📦 依赖
- - Python >= 3.9
- Flask >= 2.3.0
- Flask-SQLAlchemy >= 3.0.0
- requests >= 2.28.0
- pandas >= 1.5.0
- APScheduler >= 3.10.0
- keyring >= 25.0.0
- python-dotenv >= 1.0.0
🔗 生态集成
- - ClawHub: 社区热度数据、技能下载安装
- 企业微信: 诊断报告推送
- 微信公众号: 报告查看+消息通知
- 微信小程序: 移动端Dashboard
- PWA: 渐进式Web应用支持
📄 许可证
GPL-3.0
👤 作者
MerkyorLynn — GitHub
