POLAR-1_8B

[](./LICENSE)

[](https://github.com/InternLM/xtuner/)

[](https://github.com/InternLM/lmdeploy/)

[](https://github.com/sgl-project/sglang/)

[](https://github.com/vllm-project/vllm/)

💻 Github

📜 论文

English

简体中文

简介

POLAR 是一个经过大规模预训练的奖励模型，在训练范式和模型性能上取得了重大突破。我们利用全新的策略判别学习方法（Policy Discriminative Learning，POLAR），使用大规模合成语料进行高效扩展预训练，使奖励模型能够有效区分不同的语言模型和策略分布。经过预训练的 POLAR 可通过少量的偏好数据进行微调，以快速对齐人类偏好。POLAR 的主要特点包括：

• *全新的预训练范式**：POLAR 让奖励模型学会识别相同的策略并区分不同的策略。与传统的依赖绝对偏好的奖励建模方法不同，POLAR 能够学习两个策略之间的相对差异，是一种可扩展的、高层次的优化目标。

• *专为强化学习微调（RFT）设计:** POLAR 根据给定的参考答案为语言模型的输出打分，完美契合强化学习微调（RFT）框架，为强化学习微调在通用场景的应用提供了一种有效解决方案。

• *卓越的性能与泛化能力:** POLAR 在下游强化学习任务中展现出领先的水平，可稳定地提供准确可靠的奖励信号。POLAR 具有极强的泛化能力，可有效泛化到分布外场景，并显著减少奖励黑客（Reward Hacking）的现象。

• *易于定制化:** 我们提供了 POLAR 的预训练权重（POLAR-Base）。研究人员可以根据自身需求，便捷地对其进行微调以适配各种定制化场景。

POLAR-1.8B

POLAR-1.8B-Base** 是仅经过预训练阶段的权重，适合根据特定需求进行微调。**POLAR-1.8B** 是经过偏好微调的奖励模型，可开箱即用，适用于大部分通用场景。

我们通过 Proximal Policy Optimization（PPO）算法对 POLAR 的使用效果进行了验证，评测了四种语言模型的下游强化学习性能，评测工具是 OpenCompass 。详细信息请参阅论文。

Quick start

安?

推荐使用最新的 xtuner 来微调和使用 POLAR。xtuner 是一个高效、灵活、具有多种使用特性的语言模型微调工具。

建议使用 conda 创建 Python-3.10 虚拟环境：

通过 pip 安装 xtuner：

通过最新源码安装 xtuner：

推理

我们支持通过 lmdeploy、sglang、vllm 对 POLAR 进行推理并获取奖励信号。建议在使用这些推理引擎时，创建 conda 虚拟环境，以避免可能出现的依赖冲突问题。

数据格式

与传统奖励模型不同，POLAR 需要额外的参考答案。POLAR 对模型输出轨迹与参考答案的一致性进行评估，并给出奖励分数。

使用 transformers 进行推理

示例代码

使用 lmdeploy 进行推理

LMDeploy 是一个高效压缩、部署语言模型的工具。

环境依赖

lmdeploy >= 0.9.1

启动服务端

客户端请求示例

使用 sglang 进行推理

环境依赖

• 4.3.post4 = 0.8.0

启动服务端

客户端请求示例

偏好微调

环境依赖

flash attn

tensorboard

数据格式

与传统的奖励模型不同，除了 chosen 轨迹和 rejected 轨迹，POLAR 在微调过程中还需要一个额外的参考答案作为示范。你可以通过构建一个 train.jsonl 的文件来准备微调数据，格式如下：

训练步骤

• *第一步:** 准备配置文件。我们提供了可直接使用的示例配置。如果需要进一步对超参进行修改，请复制一份示例配置文件，并根据 xtuner 使用指南 进行修改。有关奖励模型训练设置的更多信息，请参考 xtuner 奖励模型。

• *第二步:** 启动微调。

例如，你可以按照如下的方式微调 POLAR-1 8B-Base：

这里， --deepspeed 表示使用 DeepSpeed 来加速训练。xtuner 内置了多种 DeepSpeed 策略，包括 ZeRO-1、ZeRO-2 和 ZeRO-3。如果您想禁用此功能，只需移除此参数即可。

• *第三步:** 将保存的 PTH 模型（若使用 DeepSpeed，则保存结果会是一个目录）转换为 HuggingFace 模型，命令如下：

效果示例

客观问答

主观问答

许可证

代码和模型权重均采用 Apache-2.0 许可证。

引用