SAE-Res-Qwen3.5-2B-Base-W32K-L0_100

# Qwen-Scope 模型卡片

模型用途

Qwen-Scope 是基于 Qwen3 和 Qwen3.5 系列模型训练的可解释性模块。该模块通过在 Qwen 隐藏层内集成和训练稀疏自编码器（SAE），利用稀疏约束自动提取高度解耦、低冗余且显著更易解释的数据特征。Qwen-Scope 可用于分析 Qwen 行为的内部机制，并具有模型优化的巨大潜力。

## 主要能力

• 分析模型内部工作机制
• 可引导推理控制
• 评估样本分布分析与比较
• 数据分类与合成
• 模型训练与优化

## 基础参数

| 属性 | 值 |

|------|-----|

| 基础模型 | Qwen3.5-2B-Base |

| SAE 宽度 | 32768 |

| 隐藏层大小 | 2048 |

| 扩展因子 | 16× |

| Top-K | 100 |

| Hook 点 | 残差流 |

| 覆盖层数 | 0 – 23（共24层） |

| 文件格式 | PyTorch .pt 字典 |

## 架构说明

Qwen-Scope 采用 TopK SAE 架构，每次前向传播精确保留 100 个非零特征。每个检查点文件 layer{n}.sae.pt 为 Python 字典，包含四个张量：

• W_enc：编码器权重矩阵，形状 (32768, 2048)
• W_dec：解码器权重矩阵，形状 (2048, 32768)
• b_enc：编码器偏置，形状 (32768,)
• b_dec：解码器偏置，形状 (2048,)

## 文件说明

本仓库包含每个 transformer 层的 SAE 检查点（层 0–23）。

基本用法

端到端演示：运行基础 LLM，在选定层 Hook 残差流，提取稀疏 SAE 特征激活。在大多数情况下，使用在基础模型上训练的 SAE 来探索后训练检查点的内部过程也是合理的。

同时提供 Gradio 演示应用 app.py，可本地运行。

## 使用限制

严禁将可解释性工具用于非科学研究目的来干扰模型能力，或制造、生成和传播违反公序良俗和社会主义核心价值观的有害信息，包括色情、暴力、歧视性或煽动性内容。违规者将被自动终止授权，并承担由此产生的一切法律责任。本声明的最终解释权归项目所有者所有。

许可证

如在研究中使用这些 SAE，请引用相关技术报告。