闲社

标题: Ai2推出StateBench：拆解长文状态追踪难题，循环与混合模型在特定任务上更能泛化 [打印本页]

作者: coffey 时间: 半小时前
标题: Ai2推出StateBench：拆解长文状态追踪难题，循环与混合模型在特定任务上更能泛化
Ai2近日发布StateBench，用来评测语言模型在长文中追踪“状态变化”的能力：信息不只是出现一次，还可能被反复改写、累积或互相引用。基准把任务分成四级，从找出最后一次赋值，到跟踪自引用更新和变量间依赖，帮助研究者区分模型到底在哪类状态追踪上遇到困难。

Ai2报告称，在其预训练模型测试中，随着输入变长，模型在较复杂任务上的表现会下降；测试的前沿模型在最长的一般有限状态追踪任务上准确率降至13%或以下。研究还从头训练了小模型：循环与混合架构在若干任务上能泛化到数万次更新；更灵活的Gated DeltaNet在最难任务上，接近完美的泛化长度约为训练长度的10倍。以上结果来自该基准设定，不等同于对真实对话或所有长上下文能力的结论。

StateBench同时指出，固定变量数量与合成更新序列是当前框架的边界；现实对话会不断出现新人物和新对象，尚未被此测试覆盖。数据、代码与技术报告可从Ai2页面查看：
https://allenai.org/blog/statebench

欢迎光临闲社 (https://www.xianshe.com/)