推理与部署
llama.cpp 轻量推理引擎
C++ 模型推理工具，可用于在本地设备运行兼容的大语言模型，适合希望控制运行参数和部署方式的用户。
准备条件兼容的模型文件、系统运行库；自行编译时需要编译工具链。
从本地运行到微调、量化与评测，先看用途和使用条件，再进入原项目。
工具 · 教程 · 资源入口
不是模型权重下载区
C++ 模型推理工具，可用于在本地设备运行兼容的大语言模型，适合希望控制运行参数和部署方式的用户。
通过统一工具管理和运行支持的模型，适合搭建本地对话环境或给应用提供模型接口。
面向大语言模型服务的高吞吐推理引擎，适合把兼容模型部署为供应用调用的服务。
面向语言模型和多模态模型的服务框架，可用于构建需要批量请求与推理性能优化的服务。
围绕大语言模型的压缩、部署和服务提供工具，适合将支持的模型接入实际应用。
提供文本、图像、音频和多模态模型的统一开发接口，适合在 Python 项目中加载模型、推理和训练。
基于 MLX 运行大语言模型，适合围绕兼容的苹果设备和模型构建本地使用环境。
用统一接口提供语言、语音及多模态模型服务，适合本地或服务器上的多模型部署。
为多种模型接口提供统一调用和网关能力，适合管理应用侧模型接入与请求路由。
收录依据为原项目公开资料，不代表已完成安装、安全审计或所有平台验证。许可证与运行要求以原项目为准；源码工具与模型权重分别获取。