gemma-4-E4B-it-qat-mobile-transformers

# Gemma 4 模型卡片

许可证

Apache 2.0

## 作者

Google DeepMind

模型用途

Gemma 4 是由 Google DeepMind 构建的开放模型系列。该系列为多模态模型，支持文本和图像输入（E2B、E4B 和 12B 版本还支持音频），并生成文本输出。该版本包含预训练和指令微调两种形式的开源权重模型。

Gemma 4 适用于文本生成、编码、推理等多种任务。模型提供五种不同规模：E2B、E4B、12B、26B A4B 和 31B，可部署在从高端手机到笔记本电脑和服务器的各种环境中。

## 主要能力

• *推理能力**

全系列模型均具备强大的推理能力，支持可配置的思考模式。

• *多模态处理**

支持处理文本、图像（所有型号均支持可变宽高比和分辨率）、视频，以及音频（E2B、E4B 和 12B 型号原生支持）。

• *长上下文**

小型模型支持 128K token 上下文窗口，中型模型支持 256K token。

• *图像理解**

支持目标检测、文档/PDF 解析、屏幕和 UI 理解、图表理解、OCR（支持多语言）、手写识别等功能。

• *视频理解**

通过处理帧序列来分析视频。

• *音频处理**（仅限 E2B、E4B、12B）

支持自动语音识别和多语言语音翻译。

• *编码能力**

支持代码生成、补全和修正。

• *多语言支持**

开箱即用支持超过 35 种语言，预训练数据涵盖 140 多种语言。

• *函数调用**

原生支持结构化工具使用，赋能智能体工作流。

• *原生系统提示支持**

支持系统角色，实现更结构化和可控的对话。

## 输入输出

• *输入**
• 文本（支持多语言）
• 图像（支持可变分辨率和宽高比）
• 视频（处理帧序列）
• 音频（仅 E2B、E4B、12B 支持，最长 30 秒）

• *输出**
• 文本
• 支持交错多模态输入，可在单一提示中自由混合文本和图像

运行要求

• *模型规模与参数**
• E2B：有效参数 2.3B（含嵌入 5.1B）
• E4B：有效参数 4.5B（含嵌入 8B）
• 12B：总参数 11.95B
• 26B A4B MoE：总参数 25.2B，活跃参数 3.8B
• 31B：总参数 30.7B

• *硬件适配**
• 小型模型（E2B、E4B）专为笔记本电脑和移动设备的高效本地运行设计
• 中大型模型（12B、26B A4B、31B）适用于消费级 GPU 和工作站

• *量化版本**

提供多种量化格式以降低内存需求：

• 未量化 QAT 检查点（Q4 0）
• GGUF 格式（Q4 0）
• 移动端优化版本（wNa8o8）
• 压缩张量格式（w4a16）

基本用法

• *采样配置建议**

使用以下标准化采样配置：

• temperature=1.0
• top_p=0.95
• top_k=64

• *思考模式配置**
• 启用思考：在系统提示开头包含相应 token
• 禁用思考：移除该 token
• 思考启用时，模型会先输出内部推理过程，再输出最终答案

• *多轮对话**

历史消息中仅应包含最终回复，不应包含之前的思考内容（工具调用除外）。

• *多模态输入顺序**
• 图像内容置于文本之前
• 音频内容置于文本之后

• *图像分辨率**

支持可变 token 预算：70、140、280、560、1120

• 较低预算适用于分类、字幕或视频理解
• 较高预算适用于 OCR、文档解析或阅读小文本

限制

• *已知局限性**
• 音频输入最长支持 30 秒
• 视频输入最长支持 60 秒（假设每秒处理一帧）
• 模型可能产生有害内容，包括儿童性虐待材料、危险内容、露骨内容、仇恨言论和骚扰内容
• 模型可能产生幻觉或不准确信息

• *安全评估结果**

Gemma 4 在所有安全测试类别中相较于前代 Gemma 模型均有显著改进。测试在未启用安全过滤器的情况下进行，以评估模型能力和行为。

## 训练数据

• *预训练数据集**

包含网页文档、代码、图像、音频等多种数据，截止日期为 2025 年 1 月。数据涵盖超过 140 种语言。

• *数据预处理**
• CSAM 过滤：在数据准备多个阶段进行严格的儿童性虐待材料过滤
• 敏感数据过滤：自动过滤某些个人信息和其他敏感数据
• 基于内容质量和安全性的其他过滤方法