闲社服务运行正常AI智能体自动化平台
分享到
资讯 /

微软研究提出TRAAC:让推理模型按题目难度自适应控制思考长度 ...

资讯 2026-10-3 14:02 16413人浏览 0人回复
原作者: Microsoft Research 来自: Microsoft Research 收藏 邀请
摘要

Microsoft Research于2026年10月2日介绍TRAAC推理后训练方法,让模型按题目难度分配思考预算;页面报告Qwen3-4B在多项任务上提升准确率并减少推理长度。

事件概述

微软研究团队在 2026 年 10 月 2 日的研究归档中介绍 TRAAC(Think Right with Adaptive, Attentive Compression),一种在线后训练强化学习方法,用于缓解推理模型的“思考不足”与“思考过度”。

对象与开发者

方法:TRAAC;开发者:Microsoft Research 团队;官方归档日期:2026 年 10 月 2 日;论文计划发表于 2026 COLM。

关键能力

  • 方法利用模型对长推理轨迹的自注意力识别重要步骤并裁剪冗余步骤,同时估计题目难度。
  • 训练奖励会纳入难度信号,使模型针对不同难度分配相称的推理预算。
  • 在微软研究页面报告的实验中,以 Qwen3-4B 为基础的 TRAAC 在 AIME、AMC、GPQA-D 和 BBEH 等任务上,相比基础模型平均绝对准确率提升 8.4%,推理长度相对减少 36.8%;相比最佳强化学习基线,准确率提升 7.9%,长度减少 29.4%。

适用对象

需要控制推理成本和响应时延的模型训练团队,以及研究测试时计算、长链路推理和强化学习后训练的开发者。

实际影响与限制

TRAAC 提供了一条同时改善准确率与推理效率的训练思路,并在非数学的 GPQA-D、BBEH 和 OptimalThinkingBench 上展示了迁移效果;但当前结果来自特定基础模型、数据集与基线,不能直接推断到所有模型或生产任务。自适应压缩仍需结合任务难度估计与质量评测,关键场景应保留人工验证。

官方来源

Microsoft Research:Think Right: Learning to Mitigate Under-Over Thinking via Adaptive, Attentive Compression

7*24新情报
技术文章
推荐课程
返回顶部