gemma-4-26B-A4B-it-assistant

许可证

Apache 2.0

模型用途

本模型卡适用于Gemma 4模型的Multi-Token Prediction（MTP）drafters。MTP通过扩展基础模型添加一个更小、更快的draft模型来实现加速。在Speculative Decoding流程中，draft模型提前预测多个token，目标模型随后并行验证。这可以在保证与标准生成相同质量的前提下实现显著的解码加速（最高3倍），非常适合低延迟和设备端应用。

Gemma是由Google DeepMind构建的开放模型系列。Gemma 4是多模态模型，处理文本和图像输入（E2B、E4B和12B还支持音频），并生成文本输出。该版本包含预训练和指令微调两种形式的开放权重模型。Gemma 4支持最多256K tokens的上下文窗口，并支持140种以上语言。

主要能力

Gemma 4模型处理文本、视觉和音频方面的广泛任务。核心能力包括：

思考模式 - 内置推理模式，让模型在回答前逐步思考。

长上下文 - 上下文窗口最高达128K tokens（E2B/E4B）和256K tokens（12B、26B A4B/31B）。

图像理解 - 对象检测、文档/PDF解析、屏幕和UI理解、图表理解、OCR（包括多语言）、手写识别和指向。图像可以处理可变宽高比和分辨率。

视频理解 - 通过处理帧序列分析视频。

交错多模态输入 - 可以在单个提示中自由混合文本和图像。

函数调用 - 原生支持结构化工具使用，实现智能体工作流程。

编码 - 代码生成、补全和修正。

多语言 - 35种以上语言的开箱即用支持，140种以上语言预训练。

音频（仅E2B、E4B和12B）- 多种语言的自动语音识别（ASR）和语音到翻译文本的转换。

输入输出

输入：文本、图像、音频（E2B、E4B、12B）、视频

输出：文本

运行要求

使用最新版本的Transformers库。需要安装transformers、torch和accelerate包。

基本用法

所有Gemma 4模型均可与最新版本的Transformers配合使用。加载模型后即可开始生成输出。启用推理时，设置enable thinking=True，解析响应函数将负责解析思考输出。

最佳实践：

采样参数：使用temperature=1.0、top p=0.95、top k=64的标准采样配置。

思考模式配置：模型使用标准的system、assistant和user角色。启用思考需在系统提示开头包含相应token。

多轮对话：历史模型输出应仅包含最终响应。之前模型轮次的思考内容不得添加到下一个用户轮次之前。

模态顺序：多模态输入中，图像内容放在文本之前，音频内容放在文本之后。

可变图像分辨率：Gemma 4通过可配置的视觉token预算支持可变图像分辨率。支持的token预算为70、140、280、560和1120。较低预算适用于分类、字幕或视频理解；较高预算适用于OCR、文档解析或阅读小文本。

音频：音频支持最长30秒。视频支持最长60秒（假设每秒处理一帧）。

限制

训练数据质量与多样性显著影响模型能力。训练数据中的偏见或差距可能导致模型在某些领域的表现受限。用户应了解模型可能在其训练数据覆盖不足的领域表现不佳。