模型介绍
中文整理[](./LICENSE)
[](https://github.com/InternLM/xtuner/)
[](https://github.com/InternLM/lmdeploy/)
[](https://github.com/sgl-project/sglang/)
[](https://github.com/vllm-project/vllm/)
💻 Github
📜 论文
English
简体中文
简介
POLAR 是一个经过大规模预训练的奖励模型，在训练范式和模型性能上取得了重大突破。我们利用全新的策略判别学习方法（Policy Discriminative Learning，POLAR），使用大规模合成语料进行高效扩展预训练，使奖励模型能够有效区分不同的语言模型和策略分布。经过预训练的 POLAR 可通过少量的偏好数据进行微调，以快速对齐人类偏好。POLAR 的主要特点包括：
- *全新的预训练范式**：POLAR 让奖励模型学会识别相同的策略并区分不同的策略。与传统的依赖绝对偏好的奖励建模方法不同，POLAR 能够学习两个策略之间的相对差异，是一种可扩展的、高层次的优化目标。
- *专为强化学习微调（RFT）设计:** POLAR 根据给定的参考答案为语言模型的输出打分，完美契合强化学习微调（RFT）框架，为强化学习微调在通用场景的应用提供了一种有效解决方案。
- *卓越的性能与泛化能力:** POLAR 在下游强化学习任务中展现出领先的水平，可稳定地提供准确可靠的奖励信号。POLAR 具有极强的泛化能力，可有效泛化到分布外场景，并显著减少奖励黑客（Reward Hacking）的现象。
- *易于定制化:** 我们提供了 POLAR 的预训练权重（POLAR-Base）。研究人员可以根据自身需求，便捷地对其进行微调以适配各种定制化场景。
POLAR-7B-Base
POLAR-7B-Base** 是仅经过预训练阶段的权重，适合根据特定需求进行微调。**POLAR-7B** 是经过偏好微调的奖励模型，可开箱即用，适用于大部分通用场景。
我们通过 Proximal Policy Optimization（PPO）算法对 POLAR 的使用效果进行了验证，评测了四种语言模型的下游强化学习性能，评测工具是 OpenCompass 。详细信息请参阅论文。
Quick start
安?
推荐使用最新的 xtuner 来微调和使用 POLAR。xtuner 是一个高效、灵活、具有多种使用特性的语言模型微调工具。
建议使用 conda 创建 Python-3.10 虚拟环境：
通过 pip 安装 xtuner：
通过最新源码安装 xtuner：
推理
我们支持通过 lmdeploy、sglang、vllm 对 POLAR 进行推理并获取奖励信号。建议在使用这些推理引擎时，创建 conda 虚拟环境，以避免可能出现的依赖冲突问题。
数据格式
与传统奖励模型不同，POLAR 需要额外的参考答案。POLAR 对模型输出轨迹与参考答案的一致性进行评估，并给出奖励分数。
使用 transformers 进行推理
示例代码
使用 lmdeploy 进行推理
LMDeploy 是一个高效压缩、部署语言模型的工具。
环境依赖
lmdeploy >= 0.9.1
启动服务端
客户端请求示例
使用 sglang 进行推理
环境依赖
- 4.3.post4 = 0.8.0
启动服务端
客户端请求示例
偏好微调
环境依赖
flash attn
tensorboard
数据格式
与传统的奖励模型不同，除了 chosen 轨迹和 rejected 轨迹，POLAR 在微调过程中还需要一个额外的参考答案作为示范。你可以通过构建一个 train.jsonl 的文件来准备微调数据，格式如下：
训练步骤
- *第一步:** 准备配置文件。我们提供了可直接使用的示例配置。如果需要进一步对超参进行修改，请复制一份示例配置文件，并根据 xtuner 使用指南 进行修改。有关奖励模型训练设置的更多信息，请参考 xtuner 奖励模型。
- *第二步:** 启动微调。
例如，你可以按照如下的方式微调 POLAR-7B-Base：
这里， --deepspeed 表示使用 DeepSpeed 来加速训练。xtuner 内置了多种 DeepSpeed 策略，包括 ZeRO-1、ZeRO-2 和 ZeRO-3。如果您想禁用此功能，只需移除此参数即可。
- *第三步:** 将保存的 PTH 模型（若使用 DeepSpeed，则保存结果会是一个目录）转换为 HuggingFace 模型，命令如下：
效果示例
客观问答
主观问答
许可证
代码和模型权重均采用 Apache-2.0 许可证。
引用
优先采用原作者提供的中文模型卡片；仅有英文说明时由闲社AI翻译整理。重要参数、许可证和商用范围请以原文为准。
你将获得什么
完整仓库方式包含该固定版本中的权重、配置、分词器及说明文件；指定版本方式只下载所选文件或整组分片。多模态模型的投影文件、配置等依赖，请按作者说明配齐。
完整仓库可能包含多个权重格式，因此需要的磁盘空间可能大于单一格式的模型大小。下载文件不等于完成模型部署。
使用前须知
运行模型需要的设备、工具与依赖，以原作者说明为准。
是否允许商用、修改和分发，请查看模型许可证。
闲社提供资料与镜像下载方法，不代表已运行模型或完成安全审计。下载的代码应先检查，再执行。
资料或下载有问题？
登录后可提交反馈。