本地优先大语言模型

优先将请求路由到本地大语言模型；仅在必要时回退到云端。追踪每一个决策，展示真实的令牌和成本节省。

快速开始

1. 检查本地大语言模型是否在运行

bash
python3 skills/local-first-llm/scripts/check_local.py

返回 JSON：{ any_available: true, best: { provider: ollama, models: [...] } }

2. 路由请求

bash
python3 skills/local-first-llm/scripts/route_request.py \
--prompt 总结这份会议记录 \
--tokens 800 \
--local-available \
--local-provider ollama

返回：{ decision: local, reason: ..., complexity_score: -1 }

3. 记录结果

执行请求后，进行记录：

bash
python3 skills/local-first-llm/scripts/track_savings.py log \
--tokens 800 \
--model gpt-4o \
--routed-to local

4. 显示仪表盘

bash
python3 skills/local-first-llm/scripts/dashboard.py

完整路由工作流

┌─────────────────────────────────────────────────────┐
│ 1. check_local.py → 本地提供商是否在运行？ │
│ │
│ 2. route_request.py → 本地还是云端？ │
│ - 敏感度检查 （私有数据 → 本地） │
│ - 复杂度评分 （高分 → 云端） │
│ - 可用性检查 （无本地 → 云端） │
│ │
│ 3. 使用选定的提供商执行 │
│ │
│ 4. track_savings.py log → 记录结果 │
│ │
│ 5. dashboard.py → 显示累计节省 │
└─────────────────────────────────────────────────────┘

路由规则（摘要）

完整评分详情请参见 references/routing-logic.md。

使用本地提供商执行

当 route_request.py 返回 decision: local 时，发送请求：

Ollama

bash
curl http://localhost:11434/api/generate \
-d {model: llama3.2, prompt: 你的提示词, stream: false}

LM Studio / llamafile（兼容 OpenAI）

bash
curl http://localhost:1234/v1/chat/completions \
-H Content-Type: application/json \
-d {model: local-model, messages: [{role: user, content: 你的提示词}]}

仪表盘

仪表盘读取 ~/.openclaw/local-first-llm/savings.json（自动创建）。

┌─────────────────────────────────────────┐
│ 🧠 本地优先大语言模型 — 仪表盘 │
├─────────────────────────────────────────┤
│ 本地大语言模型： ✅ ollama (llama3.2...)│
├─────────────────────────────────────────┤
│ 总请求数： 42 │
│ 路由到本地： 31 (73.8%) │
│ 路由到云端： 11 │
├─────────────────────────────────────────┤
│ 节省令牌： 84,200 │
│ 节省成本： $0.4210 │
└─────────────────────────────────────────┘

重置节省数据：

bash
python3 skills/local-first-llm/scripts/track_savings.py reset

其他参考资料

• - 路由评分详情：references/routing-logic.md
• 本地提供商设置（Ollama、LM Studio、llamafile）：references/local-providers.md
• 令牌估算与云端成本表：references/token-estimation.md