模型介绍
中文整理许可证：CC-BY-4.0
库名称：saelens
模型用途
Gemma Scope 2 是一个全面开源的稀疏自编码器（SAE）和转码器套件，专为 Gemma 3 模型系列的各种参数规模和版本设计。该套件覆盖了预训练模型和指令微调模型的所有层，参数规模包括 270M、1B、4B、12B 和 27B。套件还包含多种多层 SAE 变体：适用于所有基础 Gemma 3 模型的部分残差流交叉编码器，以及适用于 270M 和 1B 模型的跨层转码器。
稀疏自编码器是一种分析工具，可帮助将模型的内部激活分解为底层概念，类似于生物学家用显微镜研究动植物的单个细胞。
主要能力
该仓库包含在 Gemma V3 1B IT 上训练的特定 SAE 和转码器集。单层模型包括：在残差流、注意力输出和 MLP 输出上训练的 SAE，分布于 4 个不同层（25%、50%、65% 和 85% 深度），具有多种宽度和 L0 值；转码器同样覆盖这 4 个层。多层模型包括：弱因果交叉编码器，训练于残差流的 4 个连接层；跨层转码器，用于从每个 MLP 层之前的残差流值重建整个模型的 MLP 输出。
输入输出
SAE 和转码器接收模型的激活作为输入，输出分解后的稀疏特征表示。
运行要求
使用该模型需要访问 Gemma 3 模型的激活层。SAE 宽度可选 16k、64k、256k、1M；L0 目标值可选 small（10-20）、medium（30-60）、large（60-150）。
基本用法
建议使用层子文件夹中的 SAE 或转码器，如 resid_post 或 transcoder。对于大多数任务，推荐使用 64k 或 256k 宽度的模型，L0 值推荐使用 medium。
限制
该模型仅适用于 Gemma 3 系列模型。不同宽度和 L0 值会影响特征分解的粒度，需根据具体用例选择。
许可证
本项目采用 Creative Commons Attribution 4.0 International License（CC-BY-4.0）授权。
优先采用原作者提供的中文模型卡片；仅有英文说明时由闲社AI翻译整理。重要参数、许可证和商用范围请以原文为准。
你将获得什么
完整仓库方式包含该固定版本中的权重、配置、分词器及说明文件；指定版本方式只下载所选文件或整组分片。多模态模型的投影文件、配置等依赖，请按作者说明配齐。
完整仓库可能包含多个权重格式，因此需要的磁盘空间可能大于单一格式的模型大小。下载文件不等于完成模型部署。
使用前须知
运行模型需要的设备、工具与依赖，以原作者说明为准。
是否允许商用、修改和分发，请查看模型许可证。
闲社提供资料与镜像下载方法，不代表已运行模型或完成安全审计。下载的代码应先检查，再执行。
资料或下载有问题？
登录后可提交反馈。