模型介绍
中文整理WorldPM-72B
简介
WorldPM（World Preference Modeling，世界偏好建模）研究表明，偏好建模遵循与语言建模相似的缩放定律。通过在1500万条偏好数据上进行大规模训练，我们证明了偏好模型可以学习统一的偏好表示。
主要发现
在对抗性评估中，测试损失呈幂律下降，表明模型识别故意错误响应以及写得很好但不相关或不完整响应的能力得到增强。
客观指标揭示了一种涌现现象：更大的模型在更多基准测试中表现出测试损失的幂律下降。WorldPM是一项具有挑战性的任务，需要更大的模型来激发对客观知识的偏好，显示出巨大的进一步发展潜力。
主观评估没有显示明显的缩放趋势。我们从风格偏好的角度分析了潜在原因。虽然WorldPM随着规模增大变得更加风格中立，但某些主观评估存在风格偏好，导致评估表现较低。
为什么偏好建模可扩展
从任务角度看：偏好建模仅使用二元信号（指示哪个响应更优），看起来过于简单，导致监督信号稀疏。
从数据角度看：人类论坛数据看起来嘈杂，似乎难以扩展。
关于稀疏监督：考虑为什么下一个词元预测能够成功建模语言——要准确预测下一个词（例如90%概率），语言模型必须理解全面的语言规则。同样，要成功预测90%的偏好数据集标签，模型必须学习足够通用的人类偏好表示。
关于嘈杂数据：噪声指的是标签或监督信号中明显的随机性。然而，由于论坛数据代表真实的人类标注，它本身就包含其固有的合理性。即使个体人类智能无法辨别模式，强大的语言模型也能发现底层结构。
关键结论：神经网络的缩放可能既不依赖于密集的监督信号，也不依赖于精确的监督信号。只要监督信号合理且具有挑战性，缩放就是可能的——尽管密集和精确的信号会加速收敛。
模型用途
WorldPM代表了通过大规模训练实现统一偏好表示学习的突破。虽然我们的实验表明其在各种偏好场景中具有强大的泛化能力，但我们建议进行任务特定的微调以获得最佳性能。
基础模型：WorldPM-72B
微调版本：每个模型都在不同规模的人类偏好数据集上进行微调。
WorldPM-72B-HelpSteer2：HelpSteer2数据集，7K样本
WorldPM-72B-UltraFeedback：UltraFeedback数据集，100K样本
WorldPM-72B-RLHFLow：RLHFLow数据集，800K样本
建议：基础WorldPM-72B模型是自定义微调的优秀起点。我们的实验证实，从WorldPM开始比从头训练具有更好的性能。
运行要求
需要：transformers>=4.40.0
推荐：最新版本的transformers
版本要求很重要，因为Qwen2.5集成从transformers 4.37.0开始。
基本用法
系统提示在训练时保持为空（无预设偏好）
系统标记被保留
奖励计算使用token的隐藏状态
限制
主观评估领域未观察到明显的缩放趋势。这是因为主观评估本质上是多维的——评估结果是许多维度的平均值，导致某些维度呈正缩放而其他维度呈负缩放，整体上表现为缺乏缩放。
许可证
Apache-2.0
优先采用原作者提供的中文模型卡片；仅有英文说明时由闲社AI翻译整理。重要参数、许可证和商用范围请以原文为准。
你将获得什么
完整仓库方式包含该固定版本中的权重、配置、分词器及说明文件；指定版本方式只下载所选文件或整组分片。多模态模型的投影文件、配置等依赖，请按作者说明配齐。
完整仓库可能包含多个权重格式，因此需要的磁盘空间可能大于单一格式的模型大小。下载文件不等于完成模型部署。
使用前须知
运行模型需要的设备、工具与依赖，以原作者说明为准。
是否允许商用、修改和分发，请查看模型许可证。
闲社提供资料与镜像下载方法，不代表已运行模型或完成安全审计。下载的代码应先检查，再执行。
资料或下载有问题？
登录后可提交反馈。