模型介绍
中文整理许可证：CC BY 4.0
模型名称：Gemma Scope 2
模型用途
Gemma Scope 2 是一个全面开源的稀疏自编码器（SAE）和转码器套件，应用于 Gemma 3 模型系列。该套件覆盖多种模型尺寸和版本，可帮助研究人员和开发者"分解"模型内部激活值，揭示其背后的潜在概念，类似于生物学家使用显微镜观察动植物的单个细胞。
主要能力
该套件为预训练和指令微调版本的 270M、1B、4B、12B 和 27B 参数模型提供每层的 SAE，涵盖三个不同的位置以及转码器。此外还包含多种多层 SAE 变体：适用于所有基础 Gemma 3 模型的部分残差流交叉编码器，以及适用于 270M 和 1B 模型的跨层转码器。
输入输出
本仓库包含在 Gemma V3 1B 预训练模型上训练的特定 SAE 和转码器。提供以下类型：单层模型（resid post、attn out、mlp out、transcoder）以及对应的全层版本；多层模型（crosscoder、clt）。
运行要求
宽度选择：支持 16k、64k、256k、1M 四种宽度。建议使用 64k 或 256k 以获得较好的特征覆盖率。
L0 值选择：目标 L0 值分为三档——"小"（10-20）、"中"（30-60）、"大"（60-150）。建议大多数任务使用"中"档。
基本用法
- 选择模型类型文件夹（如 resid post 或 transcoder），除非进行完整的电路风格分析。
- 根据任务需求选择宽度和 L0 值。可访问 Neuronpedia 平台查看不同配置下发现的特征类型。
- 每个 SAE 的 config.json 文件中记录了具体的 L0 值。
限制
建议非电路风格分析场景下使用层子集文件夹中的 SAE 或转码器，而非全层版本。
优先采用原作者提供的中文模型卡片；仅有英文说明时由闲社AI翻译整理。重要参数、许可证和商用范围请以原文为准。
你将获得什么
完整仓库方式包含该固定版本中的权重、配置、分词器及说明文件；指定版本方式只下载所选文件或整组分片。多模态模型的投影文件、配置等依赖，请按作者说明配齐。
完整仓库可能包含多个权重格式，因此需要的磁盘空间可能大于单一格式的模型大小。下载文件不等于完成模型部署。
使用前须知
运行模型需要的设备、工具与依赖，以原作者说明为准。
是否允许商用、修改和分发，请查看模型许可证。
闲社提供资料与镜像下载方法，不代表已运行模型或完成安全审计。下载的代码应先检查，再执行。
资料或下载有问题？
登录后可提交反馈。