llama.cpp 轻量推理引擎 - 模型工具

这项工具能帮你做什么

C++ 模型推理工具，可用于在本地设备运行兼容的大语言模型，适合希望控制运行参数和部署方式的用户。

本地推理程序及服务端工具源码。

兼容的模型文件、系统运行库；自行编译时需要编译工具链。

使用边界

仅适用于项目明确支持的模型与运行环境，不承诺下载源码后即可使用。模型、数据集、外部接口和云计算费用不包含在工具源码中。

闲社整理项目资料，未对每个项目执行安装或运行测试。模型权重、数据集与工具自身可能采用不同许可证，商用和再分发前需分别确认。