Xing4.0-29B-A4B

Xing4.0-29B-A4B

[!Note]

本仓库提供 Hugging Face Transformers 格式的 Xing4.0-29B-A4B 模型权重及配置文件，兼容 Transformers、vLLM、SGLang、KTransformers 等主流推理框架。

Xing4.0-29B-A4B** 是中电信人工智能科技有限公司研发的星辰语义大模型系列（原 TeleChat）新一代模型。模型总参数量 29B，激活参数仅 4B，原生支持 256K 上下文，可扩展至 512K，是国内首个基于国产算力与国产框架完成训练、面向复杂工程任务深度优化的百亿参数大模型。

更多信息请参阅我们的 GitHub 仓库。

亮点

• *面向 Agent 的架构设计**：采用 mHC + MLA + MTP 架构，支持多步骤规划、工具调用与复杂推理链路执行，保障长上下文下任务连贯与执行稳定。
• *国产算力深度协同**：面向昇腾 910C 集群，基于 MindSpore/MindFormers 完成 mHC 等新特性适配、跨框架精度对齐及融合算子开发，实现国产算力平台上的稳定高效训练。
• *训练效率大幅提升**：通过细粒度 MoE 通信优化、选择性重计算、DVM 图算自动融合、Ascend C mHC 融合算子等多层次协同优化，整体训练吞吐较开箱性能**提升约 96%**。
• *开源生态全面兼容**：训练微调支持 LLaMA-Factory、MindFormers；推理部署支持 SGLang、vLLM、KTransformers；针对 OpenCode、Claude Code、OpenClaw、Hermes 等 Agent 框架进行定向适配与格式对齐，可直接接入现有工作流。算力方面，基于智源 FlagOS 完成多款 AI 芯片平台适配，支持跨架构一键部署。
• *低资源场景易于适配**：模型具备良好的下游任务微调能力，可面向私域数据进行轻量化定制，适用于意图识别、表格理解、合同审计、知识问答等垂直场景，以较低成本实现领域能力的快速构建与落地。

模型概览

Xing4.0-29B-A4B

• ----------------- -----------------

参数量 29B（4B 激活）

层数 40

隐藏维度 3584

稠密 FFN 中间维度 9216

专家中间维度 1024

注意力机制 MLA

路由专家数 64

每 token 激活专家数 4

共享专家数 1

上下文长度 256K（可扩展至 512K）

评测结果

评测基准 Xing4.0-29B-A4B Gemma4-26B-A4B Qwen3.6-35B-A3B

• ----------------------- :---: :---: :---:

IFBench 69.67 72.67 65.50

AIME2026 90.00 88.30 92.70

AA.LCR 61.00 66.00 62.00

Tau3-Bench 64.63 58.90 67.20

Claw-Eval **76.55** 71.49 74.54

SWE-bench Verified **75.00** 53.00 76.00

Terminal-Bench 2.1 **57.50** 30.00 51.50

SWE-bench Multilingual 66.00 51.00 67.20

DeepresearchBII **60.80** 39.30 59.70

快速开始

推理

Xing4.0-29B-A4B 可通过 OpenAI 兼容 API 进行访问。

部署

Xing4.0-29B-A4B 支持通过 vLLM、SGLang 和 KTransformers 进行部署。详细启动说明请参阅我们的 GitHub 仓库。

推荐参数

场景 temperature top p repetition penalty

• ----- :-----------: :-----: :------------------:

复杂推理 / 通用任务 1.0 0.95 1.05

编程 / Agent 任务 0.8 0.95 1.05

评测说明

• *SWE-bench Verified**：使用 SWE-agent 框架进行评测，参数设置为 temperature=1.0, top p=0.95, repetition penalty=1.05 ，上下文窗口为 210 K。
• *Terminal-Bench 2.1**：在 terminus-2 中评测，参数设置为 temperature=0.8, top p=0.95, repetition penalty=1.05, max tokens=64K ，超时时间为 24 小时。结果取 3 次运行的平均分。
• *SWE-bench Multilingual**：使用 SWE-agent 框架进行评测，参数设置为 temperature=1.0, top p=0.95, repetition penalty=1.05 ，上下文窗口为 210 K。
• *Claw-Eval**：使用官方评测框架进行评测，参数设置为 temperature=0.8, top p=0.95, repetition penalty=1.05, max tokens=16384 ，上下文窗口为 256 K。结果取 3 次运行的平均分。
• *Tau3-Bench**：使用官方评测框架进行评测，参数设置为 temperature=0.8, top p=0.95, repetition penalty=1.05, max tokens=16384 。结果取 4 次运行的 average pass^1 。
• *DeepresearchBII**：使用 OpenCode 框架进行评测，参数设置为 temperature=0.8, top p=0.95, repetition penalty=1.05, max tokens=32768 ，上下文窗口为 256 K，启用 Exa MCP server。
• *AIME2026**：参数设置为 temperature=1.0, top p=0.95, repetition penalty=1.05, max tokens=131072 。结果取 5 次独立运行的平均分。
• *IFBench**：参数设置为 temperature=0.8, top p=0.95, repetition penalty=1.05, max tokens=81920 。
• *AA.LCR**：参数设置为 temperature=1.0, top p=0.95, repetition penalty=1.05, max tokens=65536 。结果取 3 次运行的平均分。

引用