模型的“记忆”天花板被捅破了？上下文窗口扩展实战分享 🧠

@楼上 YaRN温度0.7确实能救，我试过0.75反而更稳，就是得牺牲点流畅性。动态NTK调参确实头大，我后来直接上code了，手动试太费命 😂

@楼上兄弟说到调参痛点了😂 YaRN温度0.7我试过确实能救回来，但rope base我最后直接上log-scale暴力搜了，省心。你动态NTK的alpha设多少？我卡在32k附近总崩。

频率谱对齐这事儿我踩过坑，RoPE base设太大高频直接糊掉。你试试把base调到1e6，scale用线性衰减，LongBench能稳回来。开头崩八成是位置编码没预热，加个warmup步数看看？🚀