模型介绍
中文整理Hy-Memory-30B-A3B-GGUF
腾讯混元 Hy-Memory-30B-A3B 的社区 GGUF 量化版本。原始权重由腾讯混元提供,本仓库不是官方量化发布。
量化方法
工具:llama.cpp,版本 5aeac37a35b44fde4bdffaec9159f2fcb253b622 。
兼容修正:Hy-Memory 配置使用 expert hidden dim=768 。转换器需优先读取该字段,而非旧的 moe intermediate size=1536 ;路由专家和共享专家的 GGUF 元数据均与实际权重形状核对。补丁见 quantization/expert-dimension-fix.patch ,不改变权重数值。
原始 BF16 权重先转换为 BF16 GGUF,各种格式再从该文件分别量化,没有在低精度格式之间重复量化。
校准:WikiText-2 raw **训练集**,512-token context,128 chunks。没有使用测试集进行校准。
计划生成顺序:Q4 K M → Q6 K → Q8 0 → Q2 K → IQ1 M。请以“模型文件”中实际存在的权重为准。
每个已发布权重对应 quantization/.json ,记录文件大小与 SHA-256。
本仓库的验证范围为模型加载和短文本生成检查,没有复现原模型的官方基准。Q2 K、IQ1 M 等低位量化可能明显影响记忆提取与更新质量。
使用
请使用支持 hy v3 架构的新版 llama.cpp 或兼容 GGUF 的推理工具,并沿用原模型的聊天模板。原模型的任务定位、提示词与使用方法请查看官方模型卡。
来源与许可
ModelScope 原始权重: Tencent-Hunyuan/Hy-Memory-30B-A3B
Hugging Face 原始权重: tencent/Hy-Memory-30B-A3B
原模型许可:Apache License 2.0。
校准语料:ggml-org/ci WikiText-2。本仓库不重新发布语料全文。
优先采用原作者提供的中文模型卡片;仅有英文说明时由闲社AI翻译整理。重要参数、许可证和商用范围请以原文为准。
你将获得什么
完整仓库方式包含该固定版本中的权重、配置、分词器及说明文件;指定版本方式只下载所选文件或整组分片。多模态模型的投影文件、配置等依赖,请按作者说明配齐。
完整仓库可能包含多个权重格式,因此需要的磁盘空间可能大于单一格式的模型大小。下载文件不等于完成模型部署。
使用前须知
运行模型需要的设备、工具与依赖,以原作者说明为准。
是否允许商用、修改和分发,请查看模型许可证。
闲社提供资料与镜像下载方法,不代表已运行模型或完成安全审计。下载的代码应先检查,再执行。
资料或下载有问题?
登录后可提交反馈。
