sec-sft-AT-1.5B

sec-sft-AT-1.5B：面向网络安全领域的自适应思考增强型语言模型

🛡️ **sec-sft-AT-1.5B** 是一款专为**网络安全领域任务**设计的小规模高效大语言模型。本模型基于 DeepSeek-R1-Distill-Qwen-1.5B 进行二次微调与强化学习增强，融合了**监督微调**（SFT）与adapt-think的**自适应思考强化学习策略**，并添加了对模型表达能力的rl约束，显著提升了其在漏洞分析、威胁情报生成、日志解读、等场景下的自适应推理能力与准确性。

🔍 模型概述

属性 描述

• ----- ------
• *基础架构** DeepSeek-R1-Distill-Qwen-1.5B（兼容 HuggingFace Transformers）
• *训练阶段** SFT + 自定义 RL 强化（AT-RL 策略）
• *主要用途** 网络安全文本生成、指令遵循、威胁建模、CTF 辅助、日志解析
• *支持语言** 英文输入输出为主
• *许可证** Apache License 2.0

该模型特别适用于需要**低延迟部署**与**高领域准确率**的安全智能应用，如 SOC 助手、自动化渗透测试辅助系统、安全知识问答机器人等。

📚 训练数据与方法

数据来源

我们基于如下两类高质量中文安全语料上进行知识蒸馏获得数据：

• *Cybersecurity**：涵盖 CVE 分析、CISA 报告、CNVD/CNNVD 解读、CTF Writeups、攻防对抗日志。
• *Cybermetrict**：来自真实企业 SIEM 日志的脱敏摘要、告警归因描述、攻击链还原文本。

总训练样本量超过 **1.6万条**，参考回答由deepseek-r1知识蒸馏获取，由人工清洗与格式标准化处理，数据参考Sec-CoT-sft

训练流程

• **监督微调 (Supervised Fine-Tuning)**

在基础蒸馏模型上进行lora参数微调，使其掌握安全术语、上下文理解与基本推理模式。

• **自适应思考强化学习 (AT-RL)**

提出一种轻量级强化学习框架，通过构建“思考路径奖励机制”引导模型在复杂问题中逐步展开逻辑推导，例如从原始日志 → 攻击行为识别 → TTPs 映射 → 缓解建议生成。

此项技术有效缓解了小模型在长链条推理中的跳跃与幻觉问题。

💻 使用方式

通过 ModelScope SDK 下载并加载（推荐）

bash

pip install modelscope

from modelscope import snapshot download, AutoModelForCausalLM, AutoTokenizer

model dir = snapshot download('security-serch/sec-sft-AT-1.5B')

tokenizer = AutoTokenizer.from pretrained(model dir, trust remote code=True)

model = AutoModelForCausalLM.from pretrained(model dir, device map="auto", trust remote code=True)