模型介绍
中文整理SDLM-32B-D4 模型卡片
模型用途
SDLM（Sequential Diffusion Language Model，序贯扩散语言模型）旨在以低成本激发扩散模型的并行预测能力。该模型通过将预测范围限制在固定块长度来减少分布偏移，并采用最长前缀解码方法强制执行解码顺序，从而在保证生成质量的同时显著提高预测效率。SDLM可视为自回归范式的进一步推广，因此可以使用预训练的自回归权重，仅需进行少量指令微调即可快速迁移到扩散框架。
主要能力
SDLM在保持与自回归模型相当精度的同时，解码速度提升约2倍。在MATH-500基准测试中，相比其他扩散语言模型最高可实现5倍加速。模型采用序贯块级掩码预测方法，利用位置索引较低 token 通常受益于更可靠的上下文信息这一观察结果，降低偏差并提高准确率。
输入输出
输入：文本 token 序列
输出：生成的文本 token 序列
解码方式：每步预测 D 个 token，保留最长连续的高置信度 token（1 ≤ n ≤ D），缓存的 token 被复用以节省计算。
运行要求
基础模型：Qwen2.5-32B
依赖项：transformers 等相关库
运行脚本：sdlm inference.py
注意力实现：支持 sdpa、eager 或 flex attn，建议使用 sdpa 以快速启动
块大小：当前设置为4，也可使用8，更大块大小仍在探索中
因果注意力：当前设置为非因果（False）
基本用法
- 安装依赖项
- 下载模型推理脚本 sdlm inference.py 到工作目录
- 使用 transformers 库运行 SDLM-32B-D4
限制
块大小和注意力配置仍在探索和优化中。使用 Flex Attention 需要额外配置。
许可证
请参考项目 GitHub 仓库获取完整的许可证信息。
优先采用原作者提供的中文模型卡片；仅有英文说明时由闲社AI翻译整理。重要参数、许可证和商用范围请以原文为准。
你将获得什么
完整仓库方式包含该固定版本中的权重、配置、分词器及说明文件；指定版本方式只下载所选文件或整组分片。多模态模型的投影文件、配置等依赖，请按作者说明配齐。
完整仓库可能包含多个权重格式，因此需要的磁盘空间可能大于单一格式的模型大小。下载文件不等于完成模型部署。
使用前须知
运行模型需要的设备、工具与依赖，以原作者说明为准。
是否允许商用、修改和分发，请查看模型许可证。
闲社提供资料与镜像下载方法，不代表已运行模型或完成安全审计。下载的代码应先检查，再执行。
资料或下载有问题？
登录后可提交反馈。