TRIP-Qwen2.5-1.5B-RLPF

TRIP-Qwen2.5-1.5B-RLPF

Transport Reasoning with Intelligence Progression (RL with Physics Feedback)**

项目简介

本项目在 Qwen2.5-1.5B 大语言模型基础上，提出一种**融合物理语义反馈的后训练方法（RL-PF）**，用于提升大模型在**复杂交通场景理解与决策推理任务**中的一致性、可执行性与安全性。

与传统仅依赖语义统计的推理方式不同，我们引入**物理规则与仿真反馈**作为客观监督信号，使模型输出不仅“语言上合理”，而且“物理上可行”。

研究动机

大语言模型在交通与时序决策类任务中常出现以下问题：

推理过程忽略基础物理约束（速度、距离、制动能力等）

输出在语义上合理，但在现实世界中不可执行

多目标、多对象场景下决策稳定性不足

与此同时：

物理模型具备精确的可执行性，但缺乏语义泛化能力

LLM 具备强语义与推理能力，但缺乏物理一致性约束

本项目的目标**是在两者之间建立可训练的桥梁。

方法概览：RL-PF（Reinforcement Learning with Physics Feedback）

我们提出 RL-PF 框架，用**物理仿真器或物理规则**替代传统 RLHF 中的人类偏好标注，作为模型优化信号来源。

核心思想

LLM 生成多个候选决策

基于物理规则 / 仿真器评估其可行性与风险

构造偏好对（Preferred / Rejected）

使用 DPO 等后训练方法进行对齐优化

该过程不依赖人工主观打分，反馈信号**可量化、可复现、可扩展**。

数据构建：从感知数据到物理场景表示

本项目基于多个开源自动驾驶数据集，并将其**重构为“交通场景理解与决策推理”任务**：

nuScenes

Waymo

ONCE

Reason2Drive

场景抽象方式

每个时间步被抽象为结构化物理场景：

• *Ego 状态**
• Ego speed（m/s）

• *环境对象集合（objects）**
• 相对距离（distance）
• 相对方位（sector：front / front-left / front-right / left / right / back）
• 对象属性（moving / stopped / pedestrian / parked）

每个样本通常包含 4–6 个关键对象，重点关注：

Ego 前向及侧前方扇区

距离最近或潜在风险最高的对象

场景分类（基于物理约束）

基于 Ego 速度与安全制动距离关系，我们定义四类核心交通场景：

• *Moving Safe**：59.7%
• *Moving Critical**：21.8%
• *Stopped Close**：5.0%
• *Stopped Far**：13.5%

该分类用于构建物理一致的偏好对与训练样本分布控制。

第一阶段：基于物理规则的 DPO 后训练

在第一阶段中，我们构建物理一致的 DPO 训练数据：

• *Chosen**：符合基础物理规律的决策
• *Rejected**：违反物理常识或动力学约束的决策

该阶段不强制模型给出推理解释，重点在于：

消除明显物理错误

提升基础安全性与一致性

第二阶段：结构化 Chain-of-Thought（CoT）

仅对最终结果进行监督在复杂场景中存在上限。为此，我们进一步引入**结构化思维链（Structured CoT）**。

模型效果对比

模型 是否物理对齐 危险场景误判率 推理稳定性

• ----- -------------- --------------- ------------

Qwen2.5-1.5B (Base) 否 较高 不稳定

DeepSeek R1-1.5B 部分 中等 提升

TRIP-RLPF (ours) 是 最低 最稳定

模型贡献人员

模型研发与维护

TRIP 项目小组

核心贡献者

吴子坚、周臻、霍锦彪（东南大学复杂交通网络研究中心）

支持单位

东南大学交通学院

东南大学统计与数据科学学院