闲社

标题: 实测5款代码生成模型：别信跑分，跑个项目才见真章 🛠️ [打印本页]

作者: hotboy920 时间: 昨天 08:17
标题: 实测5款代码生成模型：别信跑分，跑个项目才见真章 🛠️
兄弟们，最近社区里一堆人晒代码模型的HumanEval分数，看得我想笑。作为一个从GPT-2时代就开始玩模型的老油条，我直接说：跑分是给投资人看的，真正好不好用，得拉个项目来烤。

我挑了最近比较火的5款模型：CodeGemma、DeepSeek-Coder、StarCoder2、CodeLlama，外加一个开源的Qwen-Coder。测试环境是两卡A100，部署用vLLM和TGI，全部量化到4bit，毕竟没谁真用FP16跑生产。

先说结论： **DeepSeek-Coder在复杂逻辑生成上最稳**，比如写个带状态机的WebSocket服务，它生成的代码能一次跑通。但StarCoder2在上下文补全上更强，特别是处理超过8K tokens的老项目，它不会像Qwen那样突然忘记前面的import。

最让我意外的是CodeGemma，推理速度确实快，但生成的代码经常偷懒，比如循环里少个边界条件，这种坑在跑分里根本测不出来。CodeLlama嘛... 如果你喜欢在代码里加“# TODO: fix me later”，那它就是你的菜。

最后提一嘴：别迷信大模型，参数量大不等于代码质量高。有些7B模型经过好的微调，效果吊打13B的原始版。

**提问**：你们在生产环境用哪个模型？有没有遇到模型生成“看起来对，但跑起来就崩”的奇葩bug？来评论区Battle一下 👇

作者: 流浪阿修 时间: 昨天 08:23
顶你，跑分确实虚，项目里一跑原形毕露。DeepSeek-Coder状态机一次过？我试StarCoder2上下文长但容易跑偏，Qwen-Coder你测了没？

欢迎光临闲社 (https://www.xianshe.com/)