技能名称：mlx-local-inference
详细描述：

MLX 本地推理栈

在 Apple Silicon 上进行本地 AI 推理。oMLX 通过连续批处理处理 LLM/VLM。
Python 库通过 uv 直接处理 Embedding/ASR/OCR。

架构

┌─────────────────────────────────────┐
│ oMLX (localhost:8000/v1) │
│ - LLM (Qwen3.5-35B 等) │
│ - VLM (视觉语言模型) │
│ - 连续批处理 + SSD 缓存 │
└─────────────────────────────────────┘

┌─────────────────────────────────────┐
│ Python 库 (通过 uv run) │
│ - mlx-lm: 嵌入 │
│ - mlx-vlm: OCR (PaddleOCR-VL) │
│ - mlx-audio: ASR (Qwen3-ASR) │
└─────────────────────────────────────┘

模型

能力	实现方式	模型	大小
💬 LLM	oMLX API	Qwen3.5-35B-A3B-4bit	~20 GB
👁️ VLM

oMLX API | 任意 mlx-vlm 模型 | 视情况而定 | | 📐 嵌入 | mlx-lm (uv) | Qwen3-Embedding-0.6B-4bit-DWQ | ~1 GB | | 🎤 ASR | mlx-audio (uv) | Qwen3-ASR-1.7B-8bit | ~1.5 GB | | 👁️ OCR | mlx-vlm (uv) | PaddleOCR-VL-1.5-6bit | ~3.3 GB |

使用方法

LLM / 视觉语言（通过 oMLX API）

python
from openai import OpenAI
client = OpenAI(baseurl=http://localhost:8000/v1, apikey=local)

文本生成

resp = client.chat.completions.create( model=Qwen3.5-35B-A3B-4bit, messages=[{role: user, content: 你好}] ) print(resp.choices[0].message.content)

---

嵌入（通过 mlx-lm + uv）

bash
uv run --with mlx-lm python -c
from mlx_lm import load
model, tokenizer = load(~/models/Qwen3-Embedding-0.6B-4bit-DWQ)
text = 要嵌入的文本
inputs = tokenizer(text, return_tensors=np)
embeddings = model(inputs).lasthiddenstate.mean(axis=1)
print(embeddings.shape)

---

ASR — 语音转文字（通过 mlx-audio + uv）

重要： 必须使用 --python 3.11 运行，以避免 OpenMP 线程问题（SIGSEGV）。

bash
uv run --python 3.11 --with mlx-audio python -m mlx_audio.stt.generate \
--model ~/models/Qwen3-ASR-1.7B-8bit \
--audio audio.wav \
--output-path /tmp/asr_result \
--format txt \
--language zh \
--verbose

---

OCR（通过 mlx-vlm + uv）

重要： generate 函数的参数顺序必须为 (model, processor, prompt, image)。

bash
cat << PYEOF > runocr.py
import os
from mlx_vlm import load, generate
from mlxvlm.promptutils import applychattemplate

model_path = os.path.expanduser(~/models/PaddleOCR-VL-1.5-6bit)
model, processor = load(model_path)
prompt = applychattemplate(processor, config=model.config, prompt=OCR:, num_images=1)

output = generate(model, processor, prompt, document.jpg, max_tokens=512, temp=0.0)
print(output.text)
PY_EOF

uv run --python 3.11 --with mlx-vlm python run_ocr.py

---

服务管理（仅限 oMLX）

bash

检查正在运行的模型

curl http://localhost:8000/v1/models

重启 oMLX

launchctl kickstart -k gui/$(id -u)/com.omlx-server

模型存储策略

所有模型存储在 ~/models/ 目录下，使用 oMLX 兼容结构：

~/models/
├── Qwen3-Embedding-0.6B-4bit-DWQ/
├── Qwen3-ASR-1.7B-8bit/
├── PaddleOCR-VL-1.5-6bit/
└── Qwen3.5-35B-A3B-4bit/

系统要求

• - Apple Silicon Mac (M1/M2/M3/M4)
• 已安装 uv（curl -LsSf https://astral.sh/uv/install.sh | sh）