闲社服务运行正常AI智能体自动化平台

gemma-4-12B-it-qat-q4_0-unquantized-assistant

google/gemma-4-12B-it-qat-q4_0-unquantized-assistant

发布机构谷歌(Google)已核实

下载访问条件国内镜像可用

Gemma 是由 Google DeepMind 构建的开源模型系列。Gemma 4 是多模态模型,支持文本和图像输入(E2B、E4B 和 12B 版本还支持音频),输出文本内容。该系列提供预训练和指令微调两种版本,上下文窗口最高可达 256K tokens,支持超过 140 种语言。适用于文本生成、编程和推理等任务。 推理能力:全系列模型均具备强大的推理能力,支持可配置的思考模式。 多模态处理:支持文本、图像(含可变宽高比和分辨率)、视频,以及 E2B、E4B、12B 版本

文字对话图文理解语音音频推理思考编程开发
模型详情

模型介绍

中文整理

Gemma 4 模型卡片

模型用途

Gemma 是由 Google DeepMind 构建的开源模型系列。Gemma 4 是多模态模型,支持文本和图像输入(E2B、E4B 和 12B 版本还支持音频),输出文本内容。该系列提供预训练和指令微调两种版本,上下文窗口最高可达 256K tokens,支持超过 140 种语言。适用于文本生成、编程和推理等任务。

主要能力

推理能力:全系列模型均具备强大的推理能力,支持可配置的思考模式。

多模态处理:支持文本、图像(含可变宽高比和分辨率)、视频,以及 E2B、E4B、12B 版本原生支持的音频。

架构多样性:提供 Dense 和混合专家(MoE)两种架构,涵盖 E2B、E4B、12B、26B A4B、31B 五种规模。

设备端优化:较小模型专为笔记本电脑和移动设备的高效本地运行而设计。

长上下文:小型模型支持 128K tokens 上下文,中型模型支持 256K tokens。

编程与代理能力:编程基准测试表现显著提升,原生支持函数调用,可驱动高度自主的代理工作流。

原生系统提示支持:支持系统角色,实现更结构化、可控的对话。

输入输出

输入格式:文本、图像、音频(仅 E2B、E4B、12B)、视频

输出格式:文本

运行要求

模型规模:E2B(有效参数 2.3B)、E4B(有效参数 4.5B)、12B(11.95B)、26B A4B(活跃参数 3.8B)、31B(30.7B)

量化检查点:提供多种格式以满足不同部署需求,包括未量化 QAT 检查点、GGUF 格式、移动端优化格式(wNa8o8)以及压缩张量格式(w4a16)。

基本用法

使用 Transformers 库加载模型,通过提示词提供文本、图像、音频或视频输入即可生成文本输出。启用推理模式需设置 enable thinking=True。

使用建议

采样配置:建议使用 temperature=1.0、top_p=0.95、top_k=64。

思考模式:在系统提示开头添加相应 token 启用思考,移除则禁用。

多轮对话:历史输出仅保留最终回复,之前的思考内容不应添加到下一轮用户输入之前(工具调用轮次除外)。

多模态输入顺序:图像内容置于文本之前,音频内容置于文本之后。

图像分辨率:可变分辨率通过视觉 token 预算控制,预算值可选 70、140、280、560、1120。较低预算适用于分类、字幕或视频理解;较高预算适用于 OCR、文档解析或阅读小文本。

音频处理:音频最长支持 30 秒,视频最长支持 60 秒(每秒一帧)。

限制

模型存在以下已知局限:多模态模型在某些专业领域的理解能力可能有限;长上下文处理可能受限于特定场景;音频处理仅支持部分模型版本。

许可证

Apache 2.0

优先采用原作者提供的中文模型卡片;仅有英文说明时由闲社AI翻译整理。重要参数、许可证和商用范围请以原文为准。

你将获得什么

完整仓库方式包含该固定版本中的权重、配置、分词器及说明文件;指定版本方式只下载所选文件或整组分片。多模态模型的投影文件、配置等依赖,请按作者说明配齐。

完整仓库可能包含多个权重格式,因此需要的磁盘空间可能大于单一格式的模型大小。下载文件不等于完成模型部署。

使用前须知

运行环境

运行模型需要的设备、工具与依赖,以原作者说明为准。

授权范围

是否允许商用、修改和分发,请查看模型许可证。

闲社提供资料与镜像下载方法,不代表已运行模型或完成安全审计。下载的代码应先检查,再执行。

返回顶部