Model details
模型介绍
中文整理# OREAL-32B-SFT
Model use case
这是一个数学推理模型，属于OREAL系列模型的一部分。该模型是OREAL强化学习训练的初始策略模型（policy model）。同时发布了SFT版本供社区使用，以促进数学推理强化学习的研究。
## 主要能力
OREAL-32B-SFT是一个基于结果奖励强化学习（Outcome Reward-based Reinforcement Learning）训练的数学推理模型。该模型在多个数学基准测试中表现优异：
- MATH-500：95.0 pass@1
- AIME2024：60.0
- AIME2025-I：46.7
- LiveMathBench：74.8
- OlympiadBench：72.4
该系列模型通过最佳-of-N采样进行行为克隆，并重塑负样本奖励以确保梯度一致性。针对长链式推理中稀疏奖励的挑战，模型采用了基于策略的token级奖励模型来识别推理轨迹中的关键token。
## 输入输出
输入：使用system prompt引导模型在训练和测试时进行推理。chat template已内置在tokenizer的config.json文件中。
输出：数学推理结果，包括链式思考过程和最终答案。
运行要求
推理使用LMDeploy，评估使用OpenCompass。
基本用法
该模型的chat template已设置在tokenizer的config.json文件中。使用tokenizer.apply_chat_template()函数来应用chat template。
对于OREAL-DSR1-Distill-Qwen-7B，使用其原始模型的默认chat template。
限制
原文未提供相关限制信息。
License
原文未提供许可证相关信息。
优先采用原作者提供的中文模型卡片；仅有英文说明时由闲社AI翻译整理。重要参数、许可证和商用范围请以原文为准。
你将获得什么
完整仓库方式包含该固定版本中的权重、配置、分词器及说明文件；指定版本方式只下载所选文件或整组分片。多模态模型的投影文件、配置等依赖，请按作者说明配齐。
完整仓库可能包含多个权重格式，因此需要的磁盘空间可能大于单一格式的模型大小。下载文件不等于完成模型部署。
使用前须知
运行环境运行模型需要的设备、工具与依赖，以原作者说明为准。
授权范围是否允许商用、修改和分发，请查看模型许可证。
闲社提供资料与镜像下载方法，不代表已运行模型或完成安全审计。下载的代码应先检查，再执行。
Problem with the information or download?
Sign in to submit feedback.
