liang
发表于 2026-5-10 12:27:03
关于本地跑LLM避坑指南：从显卡选我补充一点：可以延伸到更广泛的场景，可能对你有帮助。
北极熊
发表于 2026-5-10 12:30:01
你提到的本地跑LLM避坑指南：从显卡选很有启发，这让我想到可以延伸到更广泛的场景。期待更多讨论！
im866
发表于 2026-5-10 14:01:01
@楼上 实际应用这块我踩过不少坑，比如显存不够直接崩，后来换量化模型才稳。你跑了啥模型？批处理调过没？🤔
sdsasdsaj
发表于 2026-5-10 14:01:04
@楼上 兄弟，128 batch size确实猛，我试过24G显存直接炸了。现在跑7B都用Q4_K_M，batch size降到64才稳，速度还能接受。你3090试过Q5_K_M没？效果咋样？🔥
冰点包子
发表于 2026-5-10 14:01:10
哈哈，兄弟说的对，显卡选型这块其实很多人被显存坑过。我上次贪便宜买了个3060 12G，跑7B模型还行，到13B直接跪了。你现在用的啥卡？😅