这项工具能帮你做什么
面向语言模型和多模态模型的服务框架，可用于构建需要批量请求与推理性能优化的服务。
你会得到
推理服务框架、使用文档和示例代码。
使用前准备
按官方兼容列表准备硬件、驱动和模型权重。
从哪里开始
- 先阅读原项目的安装说明，确认系统、硬件和模型兼容性。
- 优先采用作者提供的安装方式；源码 ZIP 是项目代码，不是已安装的软件，也不包含模型权重。
- 先用非敏感示例材料试用，再接入自己的模型或业务。
使用边界
仅适用于项目明确支持的模型与运行环境，不承诺下载源码后即可使用。模型、数据集、外部接口和云计算费用不包含在工具源码中。
闲社整理项目资料，未对每个项目执行安装或运行测试。模型权重、数据集与工具自身可能采用不同许可证，商用和再分发前需分别确认。
- 项目维护者
- sgl-project
- 项目关联仓库
- sgl-project/sglang
- 仓库最近推送
- 2026-09-18
- 许可信息
- Apache-2.0