SDLM-32B-D4

SDLM-32B-D4 模型卡片

Model use case

SDLM（Sequential Diffusion Language Model，序贯扩散语言模型）旨在以低成本激发扩散模型的并行预测能力。该模型通过将预测范围限制在固定块长度来减少分布偏移，并采用最长前缀解码方法强制执行解码顺序，从而在保证生成质量的同时显著提高预测效率。SDLM可视为自回归范式的进一步推广，因此可以使用预训练的自回归权重，仅需进行少量指令微调即可快速迁移到扩散框架。

主要能力

SDLM在保持与自回归模型相当精度的同时，解码速度提升约2倍。在MATH-500基准测试中，相比其他扩散语言模型最高可实现5倍加速。模型采用序贯块级掩码预测方法，利用位置索引较低 token 通常受益于更可靠的上下文信息这一观察结果，降低偏差并提高准确率。

输入输出

输入：文本 token 序列

输出：生成的文本 token 序列

解码方式：每步预测 D 个 token，保留最长连续的高置信度 token（1 ≤ n ≤ D），缓存的 token 被复用以节省计算。

运行要求

基础模型：Qwen2.5-32B

依赖项：transformers 等相关库

运行脚本：sdlm inference.py

注意力实现：支持 sdpa、eager 或 flex attn，建议使用 sdpa 以快速启动

块大小：当前设置为4，也可使用8，更大块大小仍在探索中

因果注意力：当前设置为非因果（False）

基本用法

• 安装依赖项
• 下载模型推理脚本 sdlm inference.py 到工作目录
• 使用 transformers 库运行 SDLM-32B-D4

限制

块大小和注意力配置仍在探索和优化中。使用 Flex Attention 需要额外配置。

License

请参考项目 GitHub 仓库获取完整的许可证信息。