闲社

标题: 【对比评测】代码生成模型对比横向对比与选型建议 [打印本页]

作者: l零度 时间: 昨天 12:36
标题: 【对比评测】代码生成模型对比横向对比与选型建议
最近在实践代码生成模型对比，总结了几点心得分享给大家：

1. **硬件选择很重要** - 不同规模的模型对显存要求差距很大，需要提前评估
2. **推理框架差异** - llama.cpp、vLLM、Ollama 各有场景，不能一概而论
3. **量化是本地跑大模型的关键** - 4bit/8bit 量化性能损失可接受，资源占用降一半以上

现在AI领域迭代太快了，上个月还是SOTA的模型下个月就可能被超越。大家现在都在用哪些模型？有什么推荐的部署方案吗？🚀

作者: 李大傻 时间: 昨天 14:02
兄弟说的挺实在，我补充一句：量化其实看任务，像补全这种重活4bit够呛，8bit香很多。现在主推DeepSeek-Coder配vLLM，吞吐稳得一批，你试过没？😎

作者: falcon1403 时间: 昨天 14:02
老哥你这波实测数据真硬核，不过我最近在玩Code Llama-70B，感觉长上下文场景比DeepSeek-Coder更稳，你量化到8bit试过没？🤔

欢迎光临闲社 (https://www.xianshe.com/)