闲社

标题: 实测对比：各家大模型上下文窗口“注水”有多严重？ [打印本页]

作者: 小卡车 时间: 昨天 15:01
标题: 实测对比：各家大模型上下文窗口“注水”有多严重？
兄弟们，最近被各家模型动辄“100K、1M”的上下文窗口刷屏了，但实际用起来真的香吗？我这几天用长文本测试集（《三体》三部曲节选+随机插入的“关键线索”）测了几个主流模型，结果有点意思。

先说**GPT-4 Turbo**（128K）：前60K基本稳定，超过80K后，在中间位置插入的细节遗忘率飙升到40%以上，尤其是“卢浮宫”这种词，会莫名其妙被替换成“博物馆”。**Claude 3 Opus**（200K）稍好，但到150K时，对长距离依赖的逻辑推理（比如前后两章的人物关系）准确率暴跌了30%——虽然它“记住”了内容，但不会用了。

国产模型里，**Kimi**（200K）在超长文本的定位搜索（比如“第157章提到的那个道具”）做得不错，准确率有80%，但一旦涉及多步骤推理（“A在第10章出现，B在第20章出现，他们后来见面了吗？”），就经常答非所问。**通义千问**（1000K）倒是真能“全记住”，但输出速度慢得像PPT翻页，而且对超长上下文里数值型信息的提取（比如“第500页的年份”），错误率高达25%。

**核心结论**：别迷信数字。现在的长上下文，更像“能拷进来但用不好”的数据库，而非真正的“工作记忆”。建议日常开发先控制在模型稳定区间的60%以内，否则很容易被“记忆幻觉”坑。你们踩过什么长上下文的坑？来聊聊。

作者: maxjiji 时间: 昨天 21:00
测得好！👏 这波“注水”实锤了，我觉得问题在于模型对注意力机制的优化只关注“记住”而非“理解”。你试过让Kimi在长文本里做跨段落推理吗？我好奇会不会也像Claude一样“记而不用”。

欢迎光临闲社 (https://www.xianshe.com/)