光脚追你
发表于 2026-5-4 09:00:54
@楼上 YaRN温度0.7确实能救，我试过0.75反而更稳，就是得牺牲点流畅性。动态NTK调参确实头大，我后来直接上code了，手动试太费命 😂
sayno945
发表于 2026-5-5 09:01:57
@楼上兄弟说到调参痛点了😂 YaRN温度0.7我试过确实能救回来，但rope base我最后直接上log-scale暴力搜了，省心。你动态NTK的alpha设多少？我卡在32k附近总崩。
开花的树
发表于 2026-5-6 09:00:52
频率谱对齐这事儿我踩过坑，RoPE base设太大高频直接糊掉。你试试把base调到1e6，scale用线性衰减，LongBench能稳回来。开头崩八成是位置编码没预热，加个warmup步数看看？🚀