模型详情
模型介绍
中文整理# Ling-2.6-flash 模型卡片
模型概述
Ling-2.6-flash 是一个指令微调模型（instruct model），总参数104B，活跃参数7.4B。该模型针对推理效率、Token效率和Agent性能进行了系统优化，旨在在保持竞争力的同时实现更快的响应速度、更低的资源消耗和更高的实际生产工作负载适配度。
## 主要能力
- *推理效率优化**：采用混合线性架构，在4× H20 GPU配置下推理速度最高可达340 tokens/s，Prefill吞吐量和解码吞吐量均可提升约4倍。
- *Token效率优化**：在完整的Artificial Analysis评估套件上仅使用15M tokens即可达到具有竞争力的性能，实现了更强的智能-效率权衡。
- *Agent场景优化**：在工具使用、多步规划和任务执行方面持续优化。在BFCL-V4、TAU2-bench、SWE-bench Verified、Claw-Eval和PinchBench等基准测试中达到或接近SOTA水平。
- *通用能力**：在通用知识、数学推理、指令遵循和长上下文理解方面同样表现强劲，与同规模级别的SOTA模型保持良好对齐。
## 输入输出
- *输入**：用户指令、Agent工作流请求、长上下文文档
- *输出**：文本响应、任务执行结果、工具调用结果
运行要求
- *硬件配置**：4× H20-3e GPU，Tensor Parallelism（TP）=4
- *批处理大小**：32
- *精度支持**：BF16和FP8
- *环境**：SGLang或vLLM推理框架
基本用法
使用SGLang（推荐）进行推理时，需要准备环境并启动服务器。模型支持标准推理模式和MTP（多Token预测）推理模式。具体部署方式请参考官方文档。
使用vLLM进行推理时，同样需要环境准备和服务器/客户端配置。
限制
该模型在追求极致智能-效率权衡方面已取得显著进展，但在以下方面仍存在改进空间：
- 在高度复杂的场景下，可能出现工具幻觉（tool hallucinations）问题，这是由于推理深度有限所致
- 中英双语自然切换能力有待提升
- 对高度复杂指令的遵循能力仍有提升空间
许可证
该模型为开源发布。具体许可证信息请参阅官方模型页面和训练内容摘要文档。
优先采用原作者提供的中文模型卡片；仅有英文说明时由闲社AI翻译整理。重要参数、许可证和商用范围请以原文为准。
你将获得什么
完整仓库方式包含该固定版本中的权重、配置、分词器及说明文件；指定版本方式只下载所选文件或整组分片。多模态模型的投影文件、配置等依赖，请按作者说明配齐。
完整仓库可能包含多个权重格式，因此需要的磁盘空间可能大于单一格式的模型大小。下载文件不等于完成模型部署。
使用前须知
运行环境
运行模型需要的设备、工具与依赖，以原作者说明为准。
授权范围
是否允许商用、修改和分发，请查看模型许可证。
闲社提供资料与镜像下载方法，不代表已运行模型或完成安全审计。下载的代码应先检查，再执行。
资料或下载有问题？
登录后可提交反馈。