|
Salesforce AI Research于11月5日介绍Interactive Visual Gym（IVG），一套用于评测和训练视觉交互助手的仿真框架。它试图补足静态视频问答的局限：助手需要观察实时视频并给出口头建议，模拟用户会根据建议改变动作，进而影响仿真环境和任务结果，形成闭环。场景覆盖烹饪准备、家居操作和移动界面等任务，也会加入计划外错误、临时改动和澄清提问。
团队同时公布IVG-Bench：在315个复杂场景、三个操作环境中评估14款视觉AI助手。Salesforce报告称，测试中的最高任务完成率为53.4%；即使任务完成率较高，建议是否有事实依据、是否及时可执行，也可能是另一回事。研究还邀请真人参与模拟烹饪任务，真人偏好与自动评估结果约有78.5%一致。一个初步训练实验中，研究者称闭环训练使Qwen3.5-4B在未见任务上的成功率从33.3%升至42.2%。这些数字来自研究团队公布的特定仿真与实验设置，不代表真实现场部署表现。
该框架的关注点是：当AI建议会改变人的下一步行动时，评测也需要把反馈、延迟和任务进展纳入，而不能只检查单次回答是否正确。
Salesforce官方介绍：https://www.salesforce.com/blog/interactive-visual-gym/?bc=OTH
论文摘要：https://arxiv.org/abs/2611.08286 |
0