qwen3.5-27b-jailbreak-v5-last16

Qwen3.5-27B Jailbreak V5 — Layer-Targeted LoRA (Layers 48-63)

这是一个 **LoRA adapter**（非完整模型），展示了对 Qwen3.5-27B 安全对齐的定层攻击研究。

核心发现：标准的全层 LoRA 微调**无法**突破 Qwen3.5-27B 的安全拒绝机制——即使使用 rank 64、20 个 epoch、148 条训练数据（三次尝试 ASR 均为 0%）。然而，先通过表征工程（Abliteration）定位拒绝信号集中在**第 48-63 层**，再仅对这 16 层施加 LoRA，只需 3 个 epoch、0.30% 可训练参数即可突破安全对齐。

• *使用此 adapter 需要基座模型 Qwen/Qwen3.5-27B**

关键结果

配置 拒绝 未拒绝 ASR

• ----- ------ -------- -----

基座 Qwen3.5-27B（无 adapter） 10/10 0/10 **0%**

全层 LoRA × 3 次实验 10/10 0/10 **0%**

本 adapter — 离线（ transformers + peft ） 0/10 10/10 **100%**

本 adapter — 在线（ vLLM ，修复后） 1/10 9/10 **90%**

评估使用标准 10 条危险 prompt 测试集，涵盖钓鱼邮件、恶意软件、DDoS、SQL 注入、骚扰和 NSFW 内容。所有结果经人工验证。

仓库内容

文件 说明

• ----- ------

adapter model.safetensors LoRA 权重（~304 MB）

adapter config.json PEFT / LoRA 配置

tokenizer.json / tokenizer config.json Tokenizer 资源

chat template.jinja 训练时使用的对话模板

training args.bin 保存的训练参数

LICENSE Apache 2.0

• *注意：** 本仓库包含的是 **vLLM 兼容版本**（权重 key 包含 language model. 前缀）。详见下方 vLLM LoRA 前缀修复。

快速开始：离线评估（transformers + peft）

依赖：** transformers , peft , torch , accelerate 。推荐双 GPU、每张 ≥24 GB VRAM（测试环境：2× RTX PRO 6000 96 GB）。

快速开始：在线部署（vLLM）

先将 adapter 下载到本地路径（如 /path/to/adapter ）：

然后启动 vLLM 并启用 LoRA：

通过 OpenAI 兼容 API 调用：

• *重要：** 使用 "model": "jailbreak v5 last16" （LoRA adapter 名称）而非 "Qwen3.5-27B" （基座模型）来激活 adapter。设置 enable thinking 为 false 可启用即时模式（无推理 token）。

vLLM LoRA 前缀修复（重要）

Qwen3.5-27B 是多模态模型（ Qwen3 5ForConditionalGeneration ）。在 vLLM 中，语言模型嵌套在 language model. 前缀下，期望的模块路径为：

但用 AutoModelForCausalLM （纯文本）训练的 LoRA 权重 key 为：

不匹配时，**vLLM 会静默将所有 LoRA 权重置零**——adapter 加载成功但完全无效果。

本仓库的 adapter 已应用修复** — 所有权重 key 包含 language model. 前缀。如需修复自己用 peft 训练的 adapter：

训练配置

参数 值

• ----- -----

基座模型 Qwen/Qwen3.5-27B

方法 SFT + LoRA（ trl.SFTTrainer ）

训练数据 148 条 jailbreak 指令/输出对

• *层范围** **仅第 48-63 层**（共 64 层）

目标模块 q proj , k proj , v proj , o proj , gate proj , up proj , down proj

LoRA rank 64

LoRA alpha 128

LoRA dropout 0.10

Epoch 3

学习率 1e-4（cosine schedule，5% warmup）

Batch size 2 × gradient accumulation 2 = 有效 4

最大序列长度 2048

精度 BF16

可训练参数 约占总量 0.30%

平均训练 loss ~1.114

框架 transformers + peft 0.18.1 + trl

硬件 2 × NVIDIA RTX PRO 6000 Blackwell（96 GB each）

研究背景

本 adapter 来自一个五阶段研究项目，系统研究 Qwen3.5-27B 安全对齐的脆弱性。核心问题：安全对齐是鲁棒的全模型能力，还是集中在高层的局部行为？

项目尝试了三种攻击策略：

• **全层 LoRA SFT**（实验 1-3）：逐步提高 rank、epoch 和数据量——全部失败（ASR = 0%）
• **Abliteration / 表征工程**（实验 4）：正交化拒绝方向——直接攻击失败，但成功**定位拒绝信号在第 48-63 层**
• **定层 LoRA**（实验 5，本 adapter）：仅对第 48-63 层施加 LoRA——**首次成功突破**（离线 ASR = 100%，在线 ASR = 90%）

五次实验总览

# 方法 数据 LoRA 范围 Epoch Train Loss ASR

• -- ------ ------ ----------- ------- ------------ -----

1 低 rank LoRA 36 条 仅 Attention，rank 16 5 — **0%**

2 全层高 rank LoRA 36 条 Attention + MLP，rank 64 20 ~0.065 **0%**

3 扩充数据全层 LoRA 148 条 Attention + MLP，rank 64 20 ~0.045 **0%**

4 Abliteration N/A 权重正交化 N/A N/A **0%**

• *5** **定层 LoRA（本模型）** **148 条** **第 48-63 层，rank 64** **3** **~1.114** **100% / 90%**

核心洞察：实验 2 和 3 的训练 loss 远低于实验 5，却完全未能突破安全对齐。**成功与否不取决于模型记忆训练数据的程度，而取决于 LoRA 是否命中了真正控制拒绝行为的层。**

离线 vs 在线差异说明

环境 ASR（修复前） ASR（修复后）

• ----- -------------- --------------

离线（ transformers + peft ） 100% 100%

在线（ vLLM --enable-lora ） 0% **90%**

在线 0% ASR 由 vLLM 加载多模态 Qwen3.5 模型时的**静默 LoRA 权重置零 bug** 导致。详见上方 vLLM LoRA 前缀修复。

剩余 10% 差距（10 条中 1 条在线仍拒绝）可能反映 transformers 与 vLLM 推理路径的细微行为差异（tokenization、采样、对话模板渲染）。

使用目的

本 adapter 用于：**

安全对齐研究与红队测试

研究拒绝行为在 Transformer 各层中的分布

复现定层 LoRA jailbreak 实验

评估模型对参数高效攻击的鲁棒性

本 adapter 不用于：**

生成用于实际用途的有害内容

绕过生产系统的安全措施

任何违反适用法律法规的活动

引用

许可证

本 adapter 在 **Apache License 2.0** 下发布，与上游 Qwen3.5-27B 许可一致。