gemma-4-E2B-it-assistant

# Gemma 4 模型卡片

模型用途

Gemma 4 是由 Google DeepMind 构建的开放模型系列。MTP（多令牌预测）是通过扩展基础模型添加更小、更快的草稿模型来实现的。在投机解码流水线中，草稿模型提前预测多个令牌，然后由目标模型并行验证。这可以在保证与标准生成相同质量的同时实现显著的解码加速（最高3倍），非常适合低延迟和设备端应用场景。

## 主要能力

Gemma 4 是多模态模型，支持文本和图像输入（E2B、E4B 和 12B 还支持音频），生成文本输出。该系列包含五种不同规模的模型：E2B、E4B、12B、26B A4B 和 31B。核心能力包括：

• **推理能力**：内置推理模式，支持分步思考
• **长上下文**：E2B/E4B 支持 128K 令牌上下文窗口，12B、26B A4B 和 31B 支持 256K 令牌
• **图像理解**：目标检测、文档/PDF 解析、屏幕和 UI 理解、图表理解、OCR（包括多语言）、手写识别、指向功能
• **视频理解**：通过处理帧序列分析视频
• **交错多模态输入**：可在单一提示中自由混合文本和图像
• **函数调用**：原生支持结构化工具使用
• **编程能力**：代码生成、补全和修正
• **多语言支持**：支持 35 种以上语言，预训练数据涵盖 140 种以上语言
• **音频处理**（仅 E2B、E4B、12B）：自动语音识别和多语言语音翻译

架构特点：采用混合注意力机制，交替使用局部滑动窗口注意力和完整全局注意力。Dense 模型和 MoE（混合专家）模型均提供不同规模版本。

## 输入输出

• *输入**：文本、图像、视频、音频（仅 E2B、E4B、12B）

• *输出**：文本

运行要求

Dense 模型参数：

• E2B：有效参数 2.3B（含嵌入 5.1B），35 层，滑动窗口 512 令牌
• E4B：有效参数 4.5B（含嵌入 8B），42 层，滑动窗口 512 令牌
• 12B：参数 11.95B，48 层，滑动窗口 1024 令牌
• 31B：参数 30.7B，60 层，滑动窗口 1024 令牌

MoE 模型参数：

• 26B A4B：总参数 25.2B，活跃参数 3.8B，30 层，滑动窗口 1024 令牌

词汇表大小：262K

基本用法

使用 Transformers 库加载模型。建议采样配置：temperature=1.0，top_p=0.95，top_k=64。

启用推理模式：在系统提示开头包含相应令牌。禁用推理时，模型仍会输出标签但思考块为空。

多轮对话：历史输出仅应包含最终响应，不要在下一轮用户输入前添加之前的思考内容。

多模态输入顺序：图像内容放在文本之前，音频内容放在文本之后。

图像分辨率：支持可变的图像分辨率，通过可配置的视觉令牌预算控制。支持的令牌预算为 70、140、280、560 和 1120。

音频长度：最长支持 30 秒。视频最长支持 60 秒（每秒一帧处理）。

限制

训练数据的质量和多样性显著影响模型能力。训练数据中的偏见或差距可能导致模型在某些方面的表现受限。

许可证

Apache 2.0

## 开发者

Google DeepMind