gemma-4-E4B-it-qat-mobile-ct

Gemma 4 模型卡片

许可证

Apache 2.0

作者

Google DeepMind

模型用途

Gemma是由Google DeepMind开发的开源模型系列。Gemma 4是多模态模型，支持文本和图像输入（E2B、E4B和12B版本还支持音频），生成文本输出。该系列提供预训练和指令微调两种版本，适用于文本生成、编程和推理等任务。

主要能力

Gemma 4具备以下核心能力：

推理能力：全系列模型均支持可配置的思考模式，允许模型在回答前逐步思考。

多模态处理：支持文本、图像（含可变宽高比和分辨率）、视频，以及E2B、E4B、12B版本的音频处理。

混合注意力机制：结合局部滑动窗口注意力和全局注意力，最终层始终为全局注意力，兼顾处理速度和长上下文理解。

高效架构：提供Dense和混合专家（MoE）两种架构，参数效率高。

设备端优化：小规模模型专为笔记本电脑和移动设备的高效本地运行设计。

超长上下文：小型模型支持128K tokens上下文，中型模型支持256K tokens。

增强的编程和智能体能力：编程基准测试表现显著提升，支持原生函数调用。

原生系统提示支持：支持system角色，实现更结构化、可控的对话。

输入输出

输入格式：文本、图像、音频（仅E2B、E4B、12B）、视频

输出格式：文本

音频最长支持30秒，视频最长支持60秒（按每秒一帧处理）

运行要求

模型提供五种规格：E2B、E4B、12B、26B A4B、31B

Dense模型规格：

E2B：有效参数2.3B，上下文128K，支持文本、图像、音频

E4B：有效参数4.5B，上下文128K，支持文本、图像、音频

12B：参数11.95B，上下文256K，支持文本、图像、音频

31B：参数30.7B，上下文256K，支持文本、图像

MoE模型规格：

26B A4B：总参数25.2B，活跃参数3.8B，上下文256K，支持文本、图像

基本用法

采样配置建议：

temperature=1.0

top_p=0.95

top_k=64

思考模式配置：

在系统提示开头添加触发思考令牌以启用思考模式。禁用思考时移除该令牌。

多轮对话注意事项：

历史输出仅应包含最终回复，不得将之前轮次的思考内容添加到下一用户轮次之前（工具调用轮次除外）。

多模态输入顺序：

图像内容置于文本之前，音频内容置于文本之后。

图像分辨率：

支持可变分辨率，通过可配置的视觉token预算控制。推荐预算：70用于分类/字幕，140-280用于一般视觉理解，560-1120用于OCR和文档解析。

限制

音频处理最长30秒，视频处理最长60秒。

模型存在其他已知 limitations，用户应知悉。

训练数据

预训练数据涵盖网页文档、代码、图像、音频等多种来源，数据截止日期为2025年1月。训练数据包含超过140种语言的内容，并经过CSAM过滤、敏感数据过滤等安全处理。

伦理与安全

Gemma 4经过与Gemini模型相同的严格安全评估。评估涵盖儿童性虐待内容、危险内容、露骨内容、仇恨言论和骚扰等内容类型。测试在无安全过滤器的情况下进行，以评估模型能力。评估结果显示，Gemma 4在所有安全类别上相较前代模型均有显著改进，同时保持较低的不当拒绝率。