gemma-4-31B

Gemma 4 模型卡片

概述

Gemma 是由 Google DeepMind 开发的开源模型系列。Gemma 4 为多模态模型，支持文本和图像输入（E2B、E4B 和 12B 版本额外支持音频），输出文本内容。该系列提供预训练模型和指令微调模型两种版本。

模型用途

Gemma 4 适用于文本生成、编程、推理和多模态理解等任务。该系列包含五种规格：E2B、E4B、12B、26B A4B 和 31B，可部署于手机、笔记本电脑和服务器等多种设备。

主要能力

推理能力：全系列模型均具备可配置思考模式的高级推理能力。

多模态支持：支持文本、图像（所有型号）、视频以及音频（仅 E2B、E4B、12B）。

架构选择：提供 Dense 和混合专家（MoE）两种架构，满足不同规模的部署需求。

设备端优化：小规模模型专为笔记本电脑和移动设备的高效本地运行而设计。

超长上下文：小型模型支持 128K token 上下文窗口，中型模型支持 256K token。

编程与代理能力：在编程基准测试中表现显著提升，支持原生函数调用，可驱动自主代理工作流。

原生系统提示支持：支持系统角色，实现更结构化、可控的对话。

输入输出

输入格式：文本、图像、音频（部分型号）、视频

输出格式：文本

运行要求

模型规格方面，E2B 和 E4B 为高效参数版本，分别约 2.3B 和 4.5B 有效参数；12B 统一版本为 11.95B 参数；31B 密集版本为 30.7B 参数；26B A4B MoE 版本总计 25.2B 参数，活跃参数 3.8B。

上下文长度方面，E2B/E4B 为 128K token，12B/26B A4B/31B 为 256K token。

词汇表大小：262K

滑动窗口：512-1024 token

基本用法

使用 Transformers 库加载模型，推荐采样参数为 temperature=1.0、top_p=0.95、top_k=64。

启用思考模式需在系统提示中包含相应控制 token。禁用思考时，模型仍会输出标签但思考块为空。

多轮对话中，历史输出仅应包含最终回复，之前的思考内容不应添加到下一轮用户输入之前。

多模态输入优化：图像内容置于文本之前，音频内容置于文本之后。

图像分辨率支持可配置视觉 token 预算，预算值包括 70、140、280、560 和 1120，建议低预算用于分类、字幕或视频理解，高预算用于 OCR、文档解析或阅读小字。

音频处理支持最长 30 秒，视频支持最长 60 秒（每秒一帧）。

限制

训练数据质量与多样性显著影响模型能力，偏差或缺口可能导致回复受限。训练数据集的范围决定了模型能有效处理的主题领域。

模型在清晰提示和指令的任务上表现良好，开放式或高度复杂的任务可能具有挑战性。提供的上下文量会影响模型性能。

自然语言本身具有复杂性，模型可能难以理解细微差别、讽刺或比喻语言。

模型根据训练数据集中的信息生成回复，但并非知识库，可能产生不准确信息。

许可证

Apache 2.0