Private AI — Your Data Never Leaves Your Network
Private AI means every prompt, every response, every image, every transcription stays on your machines. Private AI requires no cloud APIs. Private AI sends no telemetry. Private AI has no third-party access. This is offline AI that runs entirely on your own hardware.
What makes this private AI
- - Private AI networking — the router and nodes communicate only on your local network
- Private AI telemetry — zero. No usage data, no analytics sent anywhere
- Private AI credentials — none needed. No API keys, no accounts, no tokens
- Offline AI capable — models run fully offline after download. Air-gapped AI deployment supported
- Private AI data storage — all data in
~/.fleet-manager/ on your machines only - Air-gapped AI — pre-download models, then disconnect. The private AI fleet runs without internet
Setup private AI
CODEBLOCK0
No models downloaded during installation. All private AI model downloads require explicit user confirmation. Once downloaded, your private AI runs entirely offline.
Private AI for LLM inference
Send sensitive prompts with private AI — legal documents, medical notes, financial data, proprietary code never leave your network.
CODEBLOCK1
Private AI with any model — all fully offline
CODEBLOCK2
Private AI image generation
Generate images from sensitive prompts with private AI — no DALL-E, no Midjourney, no cloud upload.
CODEBLOCK3
Private AI transcription
Private AI transcription for meetings, legal depositions, medical dictation — no cloud STT.
CODEBLOCK4
Private AI embeddings
Build private AI knowledge bases from proprietary documents — no OpenAI embedding API.
CODEBLOCK5
Air-gapped AI / offline AI deployment
For fully disconnected private AI environments:
- 1. Download models on a connected machine: INLINECODE1
- Transfer model files to the air-gapped network (USB, sneakernet)
- Start the private AI fleet — runs without internet as offline AI
The private AI router discovers nodes on the local network. No DNS, no external lookups, no cloud callbacks. True offline AI.
Private AI compliance
| Compliance Need | How private AI helps |
|---|
| HIPAA | Private AI processes PHI on your hardware only |
| GDPR |
Private AI keeps all data in your jurisdiction |
|
Data residency | Private AI — all processing on your hardware |
|
No subprocessors | Private AI uses no cloud APIs for inference |
|
Audit trail | Private AI logs every request (model, node, latency) |
|
Data sovereignty | Private AI — your data, your machines, your control |
|
Data minimization | Private AI traces store routing metadata, never prompts |
Monitor your private AI fleet
CODEBLOCK6
Private AI dashboard at http://localhost:11435/dashboard — accessible only on your local network.
Example private AI fleet response:
CODEBLOCK7
Full documentation
Contribute
Ollama Herd is open source (MIT). Private AI for everyone:
- - Star on GitHub — help others discover private AI
- Open an issue — share your private AI setup
- PRs welcome —
CLAUDE.md gives AI agents full context. 444 tests.
Guardrails
- - No automatic downloads — all private AI model pulls require explicit user confirmation.
- Private AI model deletion requires explicit user confirmation.
- No external network access — private AI router and nodes communicate only locally.
- Private AI traces never store prompt content — only routing metadata.
- Never delete or modify files in
~/.fleet-manager/.
Private AI — 您的数据永不离开网络
Private AI 意味着每一次提示、每一次响应、每一张图片、每一次转录都保留在您的机器上。Private AI 无需云 API。Private AI 不发送遥测数据。Private AI 没有第三方访问权限。这是完全在您自有硬件上运行的离线 AI。
什么是私有 AI
- - Private AI 网络 — 路由器和节点仅在您的本地网络上通信
- Private AI 遥测 — 零。无使用数据，无分析数据发送到任何地方
- Private AI 凭证 — 无需任何凭证。无 API 密钥，无账户，无令牌
- 离线 AI 能力 — 模型下载后完全离线运行。支持气隙 AI 部署
- Private AI 数据存储 — 所有数据仅存储在您机器的 ~/.fleet-manager/ 目录下
- 气隙 AI — 预下载模型，然后断开网络。私有 AI 集群无需互联网即可运行
设置 Private AI
bash
pip install ollama-herd # 安装私有 AI 路由器
herd # 启动私有 AI 路由器（端口 11435）
herd-node # 在每个设备上运行 — 私有 AI 节点互相发现
安装过程中不会下载任何模型。所有私有 AI 模型下载都需要用户明确确认。下载完成后，您的私有 AI 将完全离线运行。
用于 LLM 推理的 Private AI
使用 Private AI 发送敏感提示 — 法律文件、医疗记录、财务数据、专有代码永不离开您的网络。
python
from openai import OpenAI
Private AI 端点 — 所有推理保持本地
private
ai = OpenAI(baseurl=http://localhost:11435/v1, api_key=not-needed)
Private AI 文档分析 — 数据永不离开您的网络
response = private_ai.chat.completions.create(
model=llama3.3:70b, # 在您的硬件上进行私有 AI 推理
messages=[{role: user, content: 使用私有 AI 审查这份机密合同的风险}],
)
print(response.choices[0].message.content)
使用任何模型的 Private AI — 全部完全离线
bash
使用 DeepSeek-R1 的 Private AI — 无数据发送到云端
curl http://localhost:11435/api/chat -d {
model: deepseek-r1:70b,
messages: [{role: user, content: 使用离线 AI 分析这份私有财务报告}],
stream: false
}
Private AI 图像生成
使用 Private AI 从敏感提示生成图像 — 无需 DALL-E，无需 Midjourney，无需云上传。
bash
Private AI 图像生成 — 提示保持本地
curl http://localhost:11435/api/generate-image \
-d {model: z-image-turbo, prompt: 由私有 AI 生成的机密产品模型, width: 1024, height: 1024}
Private AI 转录
用于会议、法律证词、医疗听写的 Private AI 转录 — 无需云端语音转文字。
bash
Private AI 语音转文字 — 音频永不离开您的网络
curl http://localhost:11435/api/transcribe \
-F file=@private
boardmeeting.wav \
-F model=qwen3-asr
Private AI 嵌入
从专有文档构建 Private AI 知识库 — 无需 OpenAI 嵌入 API。
bash
Private AI 嵌入 — 文档内容保持本地
curl http://localhost:11435/api/embed \
-d {model: nomic-embed-text, input: 第四季度收入预测 — 用于内部 RAG 的私有 AI 嵌入}
气隙 AI / 离线 AI 部署
用于完全断开的私有 AI 环境：
- 1. 在联网机器上下载模型：ollama pull llama3.3:70b
- 将模型文件传输到气隙网络（USB、移动存储）
- 启动私有 AI 集群 — 作为离线 AI 无需互联网运行
私有 AI 路由器在本地网络上发现节点。无需 DNS，无需外部查询，无需云回调。真正的离线 AI。
Private AI 合规性
| 合规需求 | Private AI 如何帮助 |
|---|
| HIPAA | Private AI 仅在您的硬件上处理受保护健康信息 |
| GDPR |
Private AI 将所有数据保留在您的管辖区域内 |
|
数据驻留 | Private AI — 所有处理在您的硬件上完成 |
|
无子处理方 | Private AI 不使用云 API 进行推理 |
|
审计追踪 | Private AI 记录每个请求（模型、节点、延迟） |
|
数据主权 | Private AI — 您的数据，您的机器，您的控制 |
|
数据最小化 | Private AI 追踪仅存储路由元数据，从不存储提示内容 |
监控您的 Private AI 集群
bash
Private AI 集群状态
curl -s http://localhost:11435/fleet/status | python3 -m json.tool
Private AI 健康检查
curl -s http://localhost:11435/dashboard/api/health | python3 -m json.tool
Private AI 仪表板位于 http://localhost:11435/dashboard — 仅在您的本地网络上可访问。
示例 Private AI 集群响应：
json
{
fleet: {nodesonline: 3, privateai: true},
nodes: [
{nodeid: Private-AI-Server-1, modelsloaded: [llama3.3:70b]},
{nodeid: Private-AI-Server-2, modelsloaded: [deepseek-r1:70b]}
]
}
完整文档
贡献
Ollama Herd 是开源的（MIT 许可证）。为所有人提供 Private AI：
- - 在 GitHub 上标星 — 帮助他人发现私有 AI
- 提交问题 — 分享您的私有 AI 设置
- 欢迎提交 PR — CLAUDE.md 为 AI 代理提供完整上下文。444 个测试。
安全护栏
- - 无自动下载 — 所有私有 AI 模型拉取需要用户明确确认。
- 删除私有 AI 模型需要用户明确确认。
- 无外部网络访问 — 私有 AI 路由器和节点仅在本地通信。
- Private AI 追踪从不存储提示内容 — 仅存储路由元数据。
- 切勿删除或修改 ~/.fleet-manager/ 中的文件。
