闲社

标题: 腾讯开源Hy4 preview：770B总参数、49B激活与1M上下文 [打印本页]

作者: kingstor 时间: 2026-8-30 14:35
标题: 腾讯开源Hy4 preview：770B总参数、49B激活与1M上下文
【事件概述】
腾讯于 2026 年 8 月 28 日发布并开放 Hy4 preview 模型权重。这是腾讯混元团队的新一代混合专家大语言模型，面向代码开发、办公分析、游戏开发和科学研究等生产力任务，同时提供原始指令模型与 FP8 版本，并给出 vLLM、SGLang 部署及微调指引。

【模型与开发者】
模型：Hy4 preview、Hy4 preview-FP8
开发者：腾讯混元团队（Tencent Hy Team）
官方发布日期：2026 年 8 月 28 日
许可证：Apache License 2.0

发布日期来自腾讯官网 8 月 28 日的发布公告。腾讯官方 GitHub 同步提供模型说明、部署、微调和量化入口，Hugging Face 的 tencent/Hy4-preview 页面已经公开权重文件。网页最近更新时间或仓库后续提交时间属于维护信息，不等同于模型发布日。

【关键能力与架构】
1. 主干模型共有 770B 参数，每个 token 激活 49B 参数，采用混合专家（MoE）架构。主干包含 78 层：首层为标准稠密 FFN，其余 77 层均为 MoE。
2. 每个 MoE 层包含 256 个路由专家和 1 个共享专家，每个 token 选择 top-8 路由专家，并同时使用共享专家。49B 激活量描述的是单次前向计算所用参数，不代表模型只需要保存 49B 参数。
3. 主干之外原生包含一层用于投机解码的 MTP 层，该层总参数 10B、激活 0.7B。官方规格表明确说明主干的 770B 与 49B 数字不包含这层 MTP。
4. 注意力模块采用 Gated DeepSeek Sparse Attention（Gated DSA），并通过 IndexCache 复用跨层稀疏索引；残差路径使用 iHC（identity Hyper-Connections）扩展层间信息流。
5. 官方标注上下文长度为 1M token，并把模型定位于长程软件开发、跨文件办公分析、游戏原型和科研推理。默认推理模式为 high；如果只需要直接回答，可在聊天模板参数中使用 no_think。
6. 开放的模型包括常规指令版本和 FP8 版本，可通过 vLLM 或 SGLang 启动 OpenAI 兼容接口。官方同时提供微调流程以及 AngelSlim 压缩工具入口。

【适用对象】
适合具备多卡或集群推理条件、需要研究超大规模 MoE、长上下文、代码 Agent、办公文档生成或科研推理的团队，也适合云端模型服务商和推理框架开发者做兼容性验证。普通个人电脑若只需日常聊天或轻量代码补全，选择更小的稠密模型或 MoE 模型通常更现实。

【实际影响】
Hy4 preview 把开放权重模型的总规模推进到 770B，同时用 49B 激活参数控制每 token 的计算范围，并以稀疏注意力和 MTP 层降低长上下文与解码成本。对于企业研发团队，开放权重、Apache 2.0 许可和 OpenAI 兼容服务接口便于在自有环境中评估、微调和接入现有应用。

但 49B 激活不能直接换算为消费级显卡可部署。Hugging Face 官方页面显示未量化模型仓库总量约 1.56TB；实际显存还会受到权重精度、张量并行、KV 缓存、上下文长度、并发数和推理框架影响。官方 vLLM 示例使用 FP8 模型与 tensor-parallel-size 8，这只是官方示例配置，不是对任意硬件的最低门槛承诺。

腾讯公布了内部专家盲测与多项基准结果，声称模型在工程、办公和科研任务上提升明显。这些数字来自模型开发方设定的任务、工具环境和评审流程，不应直接视为第三方独立结论，也不能保证在所有真实业务中领先。

【限制与使用提醒】
官方把 Hy4 明确标为 preview，并在 GitHub 列出两个已知问题：复杂任务中可能花费不必要的较长时间推理，以及过度验证自己的工作。默认 high 推理模式也可能增加响应时间和输出长度，接入生产系统前应分别测试高推理与 no_think 模式。

1M token 是上下文容量上限，不代表模型能在任意百万 token 输入中稳定找回所有细节。长上下文还会显著增加 KV 缓存、延迟和验证成本。模型仍可能生成错误事实、代码、公式、财务分析或工具调用计划；涉及代码执行、文件修改、资金、账号和外部系统操作时，应使用沙箱、最小权限、审批和人工复核。

【官方来源】
腾讯官方发布公告：https://www.tencent.com/zh-hk/tencent-releases-and-open-sources-tencent-hy4-preview/
腾讯混元官方 GitHub：https://github.com/Tencent-Hunyuan/Hy4-preview
Hugging Face 原始模型：https://huggingface.co/tencent/Hy4-preview
Hugging Face FP8 模型：https://huggingface.co/tencent/Hy4-preview-FP8

欢迎光临闲社 (https://www.xianshe.com/)