模型介绍
中文整理模型用途
Gemma Scope 2 是一个全面开源的稀疏自编码器（SAE）和转码器套件，专为 Gemma 3 模型系列的各种参数规模和版本设计。该套件覆盖了预训练和指令微调版本的 270M、1B、4B、12B 和 27B 参数模型在每一层的 SAE（位于三个不同位置）以及转码器。此外还包含多种多层 SAE 变体：适用于所有基础 Gemma 3 模型的局部残差流交叉编码器，以及适用于 270M 和 1B 模型的跨层转码器。
稀疏自编码器是一种"显微镜"工具，可帮助我们将模型内部激活分解为底层概念，正如生物学家使用显微镜研究动植物的单个细胞。
主要能力
该仓库包含在 Gemma V3 27B 指令微调版本上训练的 SAE 和转码器。单层模型包括：resid post（残差流后）、attn out（注意力输出）和 mlp out（MLP 输出）文件夹，包含在四个不同层（25%、50%、65% 和 85% 深度）训练的 SAE，具有多种宽度和 L0 值；transcoder 文件夹包含在同一四层上训练的转码器。resid post all、attn out all、mlp out all 和 transcoder all 文件夹包含较小范围的宽度和 L0 值，但覆盖模型的每一层。多层模型包括：crosscoder 文件夹包含弱因果交叉编码器，在残差流的四个连接层上训练；clt 文件夹包含跨层转码器，用于从每个 MLP 层之前的残差流值重建整个模型的 MLP 输出。
运行要求
SAE 宽度可选 16k、64k、256k、1M。L0 目标值可选 "small"（10-20）、"medium"（30-60）或 "large"（60-150）。
基本用法
除非进行完整的电路风格分析，建议使用层子集文件夹中的 SAE 或转码器，如 resid post 或 transcoder。对于残差流 SAE，推荐使用 64k 或 256k 宽度。L0 推荐使用 "medium"，适用于大多数任务。具体参数可查看各 SAE 配置文件中保存的 L0 值。
限制
具体使用效果取决于实际应用场景，建议参考 Neuronpedia 获取不同宽度和 L0 值对应的特征类型定性了解。
许可证
CC-BY-4.0
联系方式
联系人：Callum McDougall
电子邮件：mcdougallc@google.com
优先采用原作者提供的中文模型卡片；仅有英文说明时由闲社AI翻译整理。重要参数、许可证和商用范围请以原文为准。
你将获得什么
完整仓库方式包含该固定版本中的权重、配置、分词器及说明文件；指定版本方式只下载所选文件或整组分片。多模态模型的投影文件、配置等依赖，请按作者说明配齐。
完整仓库可能包含多个权重格式，因此需要的磁盘空间可能大于单一格式的模型大小。下载文件不等于完成模型部署。
使用前须知
运行模型需要的设备、工具与依赖，以原作者说明为准。
是否允许商用、修改和分发，请查看模型许可证。
闲社提供资料与镜像下载方法，不代表已运行模型或完成安全审计。下载的代码应先检查，再执行。
资料或下载有问题？
登录后可提交反馈。