gemma-scope-2-4b-it

Model use case

Gemma Scope 2 是一个全面开源的稀疏自编码器和转码器套件，专为 Gemma 3 模型系列设计。该套件可帮助分析模型的内部激活，将其分解为底层概念，类似于生物学家使用显微镜研究动植物的单个细胞。

主要能力

提供针对 Gemma 3 多种参数规模（270M、1B、4B、12B、27B）的预训练和指令微调模型的稀疏自编码器。包含多层 SAE 变体：部分残差流交叉编码器和跨层转码器。

运行要求

本仓库包含在 Gemma V3 4B IT 上训练的稀疏自编码器和转码器。模型宽度支持 16k、64k、256k、1m 四种规格。L0 目标值分为 small（10-20）、medium（30-60）、large（60-150）三档。

基本用法

单层模型：resid post、attn out、mlp out 分别在模型的残差流、注意力输出、MLP 输出的 4 个不同层级（25%、50%、65%、85% 深度）训练 SAE。transcoder 包含在同一 4 层上训练的转码器。resid post all、attn out all、mlp out all、transcoder all 覆盖模型的每个层级。

多层模型：crosscoder 在残差流的 4 个连续层级上训练弱因果交叉编码器。clt 跨层转码器从每个 MLP 层之前的残差流值重建整个模型的 MLP 输出。

选择建议：除完整电路分析外，推荐使用层级子文件夹中的 SAE 或转码器。宽度推荐 64k 或 256k。L0 推荐 "medium"，适用于大多数任务。

限制

具体功能特性和性能表现需参考 Neuronpedia 页面获取定性了解。不同宽度和 L0 值会影响可提取的特征类型，需根据具体用例选择。

License

CC-BY-4.0（知识共享署名 4.0 国际许可证）