兄弟们,今天必须聊聊“上下文窗口”这个被吹烂但实战露馅的参数。厂商动辄给128K、200K,但你真塞个GB级代码库或百万字小说进去,会发现模型像得了老年痴呆——开头细节全忘光。最近我拿几个主流模型做了个“压力测试”,结果挺有意思。
先说Kimi k1.5,官方标128K,实测在60K左右(约4.5万英文词)时,字符串检索准确率还能维持在90%以上。但超过80K后,长程依赖任务(比如从文档第10章引用之前的数据)准确率骤降到70%以下。它强在“近端记忆”能打架,远端就拉胯。
GPT-4o的128K窗口同样有“甜蜜点”:大约在40K以内表现稳定,检索准确率95%+,但到100K时,模型会优先“伪装”成记得,其实是靠推理补全细节,数据完整性下降明显。而且API端对超长输入的处理时间明显增加,延迟翻倍不奇怪。
Claude 3.5 Sonnet的200K窗口在长文档摘要上反而更有韧性。实测在150K左右,理解一致性还保持得不错,但具体事实引用(比如“第87页的某个数字”)容易出错,准确率约82%。它更擅长宏观逻辑,而非微观检索。
结论:别信标称值。实际生产中,建议将关键数据放在窗口前40%,或者用RAG做外挂。上下文不是越大越好,能精准利用的那部分才是真本事。 |