gemma-4-E2B-it-qat-mobile-transformers

Gemma 4 模型卡片

许可证：Apache 2.0

开发方：Google DeepMind

模型用途

Gemma 4 是由 Google DeepMind 开发的开源模型系列，包含预训练和指令微调版本。该系列为多模态模型，支持文本和图像输入（E2B、E4B 和 12B 版本额外支持音频），并生成文本输出。模型涵盖五种规格：E2B、E4B、12B、26B A4B 和 31B，可部署于从高端手机到笔记本电脑再到服务器的各种环境。

主要能力

Gemma 4 具备以下核心能力：

推理能力：全系列模型均具备可配置思考模式的高级推理能力，支持逐步思考后给出答案。

多模态处理：支持文本、图像（所有型号）、视频，以及 E2B、E4B、12B 型号原生支持的音频处理。图像支持可变宽高比和分辨率。

长上下文：小型型号支持 128K token 上下文窗口，中型型号支持 256K token。

图像理解：支持目标检测、文档/PDF 解析、屏幕和界面理解、图表理解、OCR（支持多语言）、手写识别以及指向功能。

视频理解：通过处理帧序列分析视频。

交错多模态输入：可在单次提示中自由混合文本和图像。

函数调用：原生支持结构化工具调用，赋能自主代理工作流。

编码能力：代码生成、补全和修正。

多语言支持：开箱即用支持 35 种以上语言，预训练覆盖 140 种以上语言。

音频处理（仅 E2B、E4B、12B）：支持多语言自动语音识别和语音翻译。

输入输出

输入：文本、图像、音频（部分型号）、视频（作为帧序列处理）

输出：文本

上下文长度：E2B/E4B 为 128K token，12B/26B A4B/31B 为 256K token

运行要求

Gemma 4 提供多种量化版本以满足不同部署需求：

未量化 QAT 检查点（Q4 0）：从 QAT 流程提取的半精度权重，适合自定义下游编译和研究。

GGUF（Q4 0）：开箱即用格式，兼容广泛生态系统。

移动端优化（wNa8o8）：专为移动硬件效率设计，包含 2 位解码层、优化 KV 缓存和静态激活，仅适用于 E2B 和 E4B。

压缩张量（w4a16）：以 compressed-tensors 格式序列化的 QAT 检查点，支持 vLLM 原生优化推理。

Dense 模型参数：

E2B：有效参数 2.3B（含嵌入 5.1B），35 层，滑动窗口 512 token

E4B：有效参数 4.5B（含嵌入 8B），42 层，滑动窗口 512 token

12B：参数 11.95B，48 层，滑动窗口 1024 token

31B：参数 30.7B，60 层，滑动窗口 1024 token

MoE 模型参数：

26B A4B：总参数 25.2B，活跃参数 3.8B，30 层，滑动窗口 1024 token，8 个活跃专家/128 个总专家加 1 个共享专家

基本用法

使用 Transformers 加载模型进行文本生成。推荐采样配置：temperature=1.0，top_p=0.95，top_k=64。

启用思考模式：在系统提示开头包含相应触发 token。模型将输出内部推理过程后跟最终答案。

多模态输入优化：图像内容置于文本之前，音频内容置于文本之后。

图像分辨率：支持可变 token 预算（70、140、280、560、1120），较低预算适用于分类和视频理解，较高预算适用于 OCR 和文档解析。

音频处理：最长支持 30 秒。视频最长支持 60 秒（假设每秒一帧）。

限制

本模型存在以下已知限制：

模型输出可能包含错误信息，使用前需验证重要内容。

多模态模型在特定领域任务上的准确性可能受限。

模型能力受限于训练数据的时效性和覆盖范围。

音频输入仅支持最长 30 秒。

部分型号不支持音频功能。

许可证

Apache 2.0 许可证

训练数据

预训练数据涵盖广泛领域和模态，包括网页文档、代码、图像、音频，数据截止日期为 2025 年 1 月。数据处理包括：CSAM 过滤、敏感数据过滤、以及基于内容质量和安全性的其他过滤方法。

安全评估

Gemma 4 经过与 Google 专有 Gemini 模型相同的严格安全评估。评估涵盖儿童性虐待材料、危险内容、露骨内容、仇恨言论和骚扰等内容类别。测试在无安全过滤器条件下进行，以评估模型原始能力。评估结果显示，Gemma 4 在所有安全类别上相较前代 Gemma 模型均有显著改进，同时保持较低的不当拒绝率。