闲社服务运行正常AI智能体自动化平台
中文
语言 / Language简体中文SelectedEnglish

选择显示语言

Hy-Memory-30B-A3B-GGUF

sheepai/Hy-Memory-30B-A3B-GGUF

发布机构sheepai

下载访问条件魔搭来源

Hy-Memory-30B-A3B-GGUF 腾讯混元 Hy-Memory-30B-A3B 的社区 GGUF 量化版本。原始权重由腾讯混元提供,本仓库不是官方量化发布。 工具:llama.cpp,版本 5aeac37a35b44fde4bdffaec9159f2fcb253b622 。

文字对话
模型详情

模型介绍

中文整理

Hy-Memory-30B-A3B-GGUF

腾讯混元 Hy-Memory-30B-A3B 的社区 GGUF 量化版本。原始权重由腾讯混元提供,本仓库不是官方量化发布。

量化方法

工具:llama.cpp,版本 5aeac37a35b44fde4bdffaec9159f2fcb253b622 。

兼容修正:Hy-Memory 配置使用 expert hidden dim=768 。转换器需优先读取该字段,而非旧的 moe intermediate size=1536 ;路由专家和共享专家的 GGUF 元数据均与实际权重形状核对。补丁见 quantization/expert-dimension-fix.patch ,不改变权重数值。

原始 BF16 权重先转换为 BF16 GGUF,各种格式再从该文件分别量化,没有在低精度格式之间重复量化。

校准:WikiText-2 raw **训练集**,512-token context,128 chunks。没有使用测试集进行校准。

计划生成顺序:Q4 K M → Q6 K → Q8 0 → Q2 K → IQ1 M。请以“模型文件”中实际存在的权重为准。

每个已发布权重对应 quantization/.json ,记录文件大小与 SHA-256。

本仓库的验证范围为模型加载和短文本生成检查,没有复现原模型的官方基准。Q2 K、IQ1 M 等低位量化可能明显影响记忆提取与更新质量。

使用

请使用支持 hy v3 架构的新版 llama.cpp 或兼容 GGUF 的推理工具,并沿用原模型的聊天模板。原模型的任务定位、提示词与使用方法请查看官方模型卡。

来源与许可

ModelScope 原始权重: Tencent-Hunyuan/Hy-Memory-30B-A3B

Hugging Face 原始权重: tencent/Hy-Memory-30B-A3B

原模型许可:Apache License 2.0。

校准语料:ggml-org/ci WikiText-2。本仓库不重新发布语料全文。

优先采用原作者提供的中文模型卡片;仅有英文说明时由闲社AI翻译整理。重要参数、许可证和商用范围请以原文为准。

你将获得什么

完整仓库方式包含该固定版本中的权重、配置、分词器及说明文件;指定版本方式只下载所选文件或整组分片。多模态模型的投影文件、配置等依赖,请按作者说明配齐。

完整仓库可能包含多个权重格式,因此需要的磁盘空间可能大于单一格式的模型大小。下载文件不等于完成模型部署。

使用前须知

运行环境

运行模型需要的设备、工具与依赖,以原作者说明为准。

授权范围

是否允许商用、修改和分发,请查看模型许可证。

闲社提供资料与镜像下载方法,不代表已运行模型或完成安全审计。下载的代码应先检查,再执行。

返回顶部