Ternary-Bonsai-27B-gguf

模型名称

Ternary Bonsai 27B — GGUF

模型用途

全参数规模的27B类推理模型，采用三值权重，可在笔记本电脑或单块GPU上运行。适用于本地27B智能体、长文档分析、完整代码库处理、隐私敏感场景离线推理、单GPU或消费级GPU服务器部署，以及需要优先考虑质量的低比特部署场景。

主要能力

在约7.2 GB部署体积下保留95%的FP16智能（15项思维模式基准测试平均得分80.49）。在亚4比特区间仍保持思维、推理和智能体行为能力：数学基准保持全精度两分以内（93.40），编程基准85.96，智能体工具使用基准74.01。端到端三值语言权重覆盖嵌入层、注意力投影、MLP投影和LM Head。实现262K token的设备端上下文，由Qwen3.6-27B混合注意力主干（约75%线性注意力）支撑。配备DSpark投机解码草稿层，CUDA路径上实现1.34倍解码加速。

输入输出

支持文本输入输出。视觉塔为可选组件（0.63 GB），仅在图像输入时加载。上下文长度支持到262K token。

运行要求

部署体积约7.2 GB（理想值5.9 GB）。支持llama.cpp后端（CUDA、Metal、CPU）。Apple M5 Pro笔记本上约26 tok/s生成速度，M5 Max上44 tok/s，H100单GPU上98 tok/s。提示处理吞吐量：M5 Pro约393 tok/s，H100约2596 tok/s。峰值内存：100K上下文约14.7 GB（未压缩KV缓存），启用4比特KV缓存后约10.1 GB，262K上下文峰值约12.8 GB。

基本用法

生成参数建议：Temperature 0.7，Top-p 0.95，Top-k 20。系统提示词可使用简单格式。部署方式：llama.cpp（CUDA）、llama.cpp（Metal/macOS）、llama.cpp Server。手机部署需使用1比特 companion版本（约3.9 GB），通过MLX Swift在iPhone 17 Pro Max上运行。

限制

三值模型保留94.6%的全精度平均分，差距主要集中于最具挑战性的类别。不适用于手机：约7.2 GB的体积超出iOS应用约6 GB的内存限制。当前以2比特槽部署，实际体积约7.2 GB高于理论值5.9 GB。智能体编程（长时域、多文件、运行测试修复工作流）尚未作为本版本的重点优化目标。KV缓存当前标准化为4比特，虽然初步结果显示可进一步压缩至亚2比特。

许可证

Apache 2.0