ggml-org团队于11月13日发布llama.cpp与底层张量库ggml的v1.0.0。项目已发展约三年半,支持在多种硬件上本地运行多模态大模型;这次版本号升级的核心信号是面向下游开发者的兼容性规则:今后公共API或ABI出现不兼容变更时,将通过主版本号升级明确标记。
GitHub发布说明显示,v1.0.0移除了已弃用的公共API,将NextN/推测解码相关接口提升到公开头文件,并加入FP8 KV缓存、可配置CPU份额的MoE专家缓存及额外模型架构;服务端也增加了音频生成端点并修补多项安全问题。项目博客还列出Windows、macOS、Linux、Android和iOS等分发渠道。
这不等于未来完全不会破坏兼容:主版本号规则正是用来提示开发者何时需要检查迁移。使用C/C++接口或依赖旧命令行参数的应用,升级前应对照发布说明并完成重新编译和回归测试。
ggml-org发布说明:https://github.com/ggml-org/llama.cpp/releases/tag/v1.0.0
项目团队文章:https://huggingface.co/blog/ggml-org/llama-cpp-v1 |