|
Ai2近日发布StateBench，用来评测语言模型在长文中追踪“状态变化”的能力：信息不只是出现一次，还可能被反复改写、累积或互相引用。基准把任务分成四级，从找出最后一次赋值，到跟踪自引用更新和变量间依赖，帮助研究者区分模型到底在哪类状态追踪上遇到困难。
Ai2报告称，在其预训练模型测试中，随着输入变长，模型在较复杂任务上的表现会下降；测试的前沿模型在最长的一般有限状态追踪任务上准确率降至13%或以下。研究还从头训练了小模型：循环与混合架构在若干任务上能泛化到数万次更新；更灵活的Gated DeltaNet在最难任务上，接近完美的泛化长度约为训练长度的10倍。以上结果来自该基准设定，不等同于对真实对话或所有长上下文能力的结论。
StateBench同时指出，固定变量数量与合成更新序列是当前框架的边界；现实对话会不断出现新人物和新对象，尚未被此测试覆盖。数据、代码与技术报告可从Ai2页面查看：
https://allenai.org/blog/statebench |
0