闲社服务运行正常AI智能体自动化平台

gemma-4-12B-it-qat-q4_0-gguf

google/gemma-4-12B-it-qat-q4_0-gguf

发布机构谷歌(Google)已核实

下载访问条件国内镜像可用

Gemma 是由 Google DeepMind 开发的开源模型系列。Gemma 4 是多模态模型,支持文本和图像输入(E2B、E4B 和 12B 版本额外支持音频),输出文本内容。该系列提供预训练和指令微调两种版本,上下文窗口最高可达 256K tokens,支持超过 140 种语言。 推理能力:全系列模型均具备强大的推理能力,支持可配置的思考模式。 多模态处理:支持文本、图像(含可变宽高比和分辨率)、视频理解;E2B、E4B、12B 版本额外支持音频处理。

文字对话图文理解语音音频推理思考
模型详情

模型介绍

中文整理

Gemma 4 模型卡片

模型概述

Gemma 是由 Google DeepMind 开发的开源模型系列。Gemma 4 是多模态模型,支持文本和图像输入(E2B、E4B 和 12B 版本额外支持音频),输出文本内容。该系列提供预训练和指令微调两种版本,上下文窗口最高可达 256K tokens,支持超过 140 种语言。

主要能力

推理能力:全系列模型均具备强大的推理能力,支持可配置的思考模式。

多模态处理:支持文本、图像(含可变宽高比和分辨率)、视频理解;E2B、E4B、12B 版本额外支持音频处理。

模型架构:提供 Dense 和混合专家(MoE)两种架构,五个规格分别为 E2B、E4B、12B、26B A4B、31B。

设备端优化:小规格模型专为笔记本电脑和移动设备的高效本地运行而设计。

长上下文:小型模型支持 128K tokens 上下文,中型模型支持 256K tokens。

编码与代理能力:在编码基准测试中表现显著提升,支持原生函数调用,可驱动自主代理工作流。

原生系统提示支持:支持系统角色,实现更结构化、可控的对话。

输入输出

输入格式:文本、图像、音频(仅 E2B、E4B、12B)、视频

输出格式:文本

运行要求

模型规格:

E2B:有效参数 2.3B,上下文 128K,支持文本、图像、音频

E4B:有效参数 4.5B,上下文 128K,支持文本、图像、音频

12B:参数 11.95B,上下文 256K,支持文本、图像、音频

26B A4B MoE:总参数 25.2B,活跃参数 3.8B,上下文 256K,支持文本、图像

31B:参数 30.7B,上下文 256K,支持文本、图像

词表大小:262K

基本用法

采样配置:建议使用 temperature=1.0、top_p=0.95、top_k=64

思考模式:在系统提示开头添加相应 token 启用思考功能

多轮对话:历史消息仅保留最终回复,之前的思考内容不应添加到下一轮用户消息前(工具调用轮次除外)

多模态输入顺序:图像内容置于文本之前,音频内容置于文本之后

图像分辨率:支持可变分辨率,通过视觉 token 预算控制(70、140、280、560、1120),低预算适用于分类和视频理解,高预算适用于 OCR 和文档解析

音频处理:最长支持 30 秒;视频最长支持 60 秒(每秒一帧)

限制

模型存在以下局限:

安全限制:可能生成有害内容,包括儿童性虐待材料、危险内容、露骨内容、仇恨言论和骚扰内容

知识局限:训练数据截止于 2025 年 1 月,可能无法回答该日期之后的知识问题

潜在偏见:模型可能继承训练数据中的偏见

准确性限制:可能产生幻觉信息,特别是在复杂推理任务中

许可证

Apache 2.0

优先采用原作者提供的中文模型卡片;仅有英文说明时由闲社AI翻译整理。重要参数、许可证和商用范围请以原文为准。

你将获得什么

完整仓库方式包含该固定版本中的权重、配置、分词器及说明文件;指定版本方式只下载所选文件或整组分片。多模态模型的投影文件、配置等依赖,请按作者说明配齐。

完整仓库可能包含多个权重格式,因此需要的磁盘空间可能大于单一格式的模型大小。下载文件不等于完成模型部署。

使用前须知

运行环境

运行模型需要的设备、工具与依赖,以原作者说明为准。

授权范围

是否允许商用、修改和分发,请查看模型许可证。

闲社提供资料与镜像下载方法,不代表已运行模型或完成安全审计。下载的代码应先检查,再执行。

返回顶部