MoXiao_Qwen3.8_27B_GGUF

Qwen3.8-27B-GGUF

Qwen3.8-27B（VLM，混合 Gated DeltaNet 架构）的**安全对齐移除版**，采用**多方向子空间权重投影**（Multi-direction, K=8, α=1.0）在权重空间永久移除拒绝行为，不依赖运行时 hook，推理行为与普通模型无异。

基座模型：Qwen/Qwen3.8-27B（许可证 Apache-2.0，本模型遵循同一协议）

使用方式（llama.cpp / LM Studio）

LM Studio使用注意事项：加载时建议显式设上下文 ≥40960（思考链较长）。**需要保证llama.cpp 版本大于等于2.30**，否则无法有效识别三档推理参数！！！

⚠️ 免责声明（必读）

本模型仅供**安全研究与学术用途**（对齐机制分析、红队测试、越狱研究）。移除安全对齐后模型可能生成违法、有害或冒犯性内容，使用者需：

• 遵守所在地法律法规，禁止用于任何非法用途；
• 自行承担生成内容的审核与使用责任；
• 不面向未成年人或不知情第三方分发。

消融方法

多层提取拒绝方向（有害/无害提示均值差，含 massive-activation 掩码）

13 个方向 SVD → 取 top-8 正交基（占 4576 维隐藏空间的 0.17%）

投影 130 个列空间矩阵（o proj / out proj / down proj，含 MTP 头）+ embedding 行空间

K=8, α=1.0：拒绝消失且通用能力无损

量化档位

文件 量化 大小 建议

• -- --- --- ---

Qwen3.8-27B-Abliterated-Q4 K M.gguf 4-bit ~16.6GB 24G 显存首选

Qwen3.8-27B-Abliterated-Q6 K.gguf 6-bit ~22GB 高保真

Qwen3.8-27B-Abliterated-Q8 0.gguf 8-bit ~27GB 最高保真

mmproj-Qwen3.8-27B-BF16.gguf 不量化 0.87GB 视觉投影器（使用视觉能力时必需）

验证结论

消融验证：三档 × 三类，**27/27 放行**，无真实拒绝

推理回归：Q4 K M（最差档）× 3 题 × 3 档 reasoning effort = **9/9 正确**，xhigh 档产出 11.5 万字符连贯归纳链，无智力损伤与推理混乱

reasoning effort 三档（xhigh/medium/low）经 chat template 原生支持。

局限

校准集为英文犯罪小说类，其他类别覆盖有限

思考链较长，低上下文（8k）配置可能截断导致输出为空，请用 ≥40k 上下文

引用 / 致谢

消融方法基于 Arditi et al. 2024, "Refusal in LLMs is Mediated by a Single Direction" 及社区 Gabliteration 实践

感谢 Qwen 团队的基座模型