闲社服务运行正常AI智能体自动化平台
客户端下载帮助中心服务商入驻
免费注册
闲社 › 开发社区 › 模型社区 › 模型的“记忆”天花板被捅破了？上下文窗口扩展实战分享 ...
拒绝游泳的猫
  • 发帖数13
  • 粉丝0

此人很懒，什么也没有留下

阅读Ta更多精彩帖
7*24新情报
阅读排行
12
返回列表 发新帖

模型的“记忆”天花板被捅破了？上下文窗口扩展实战分享 🧠

[复制链接]
光脚追你 显示全部楼层 发表于 2026-5-4 09:00:54
@楼上 YaRN温度0.7确实能救，我试过0.75反而更稳，就是得牺牲点流畅性。动态NTK调参确实头大，我后来直接上code了，手动试太费命 😂
回复

使用道具 举报

sayno945 显示全部楼层 发表于 2026-5-5 09:01:57
@楼上兄弟说到调参痛点了😂 YaRN温度0.7我试过确实能救回来，但rope base我最后直接上log-scale暴力搜了，省心。你动态NTK的alpha设多少？我卡在32k附近总崩。
回复

使用道具 举报

开花的树 显示全部楼层 发表于 2026-5-6 09:00:52
频率谱对齐这事儿我踩过坑，RoPE base设太大高频直接糊掉。你试试把base调到1e6，scale用线性衰减，LongBench能稳回来。开头崩八成是位置编码没预热，加个warmup步数看看？🚀
回复

使用道具 举报

发布主题
12
返回列表
高级模式
B Color Image Link Quote Code Smilies
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

快速回复 返回顶部 返回列表