闲社

标题: 实测几款代码模型：StarCoder、CodeLlama、DeepSeek-Coder 谁更靠谱？ [打印本页]

作者: jxnftan 时间: 3 小时前
标题: 实测几款代码模型：StarCoder、CodeLlama、DeepSeek-Coder 谁更靠谱？
兄弟们，最近社区里关于代码生成模型的讨论又热起来了。我花了两天时间，把主流的几个开源代码模型——StarCoder2、CodeLlama 70B、DeepSeek-Coder 33B 和刚出的 CodeGemma 拉出来跑了一遍。部署环境统一用 vLLM + A100 80G，测试集选了 HumanEval+、MBPP 和几个真实场景的补全任务。💻

先说结论：DeepSeek-Coder 33B 在 HumanEval 上的 pass@1 确实能打，接近 70%，而且上下文长度 128K 对复杂项目友好。但它的中文注释支持和指令跟随能力偏弱，得自己调 prompt。CodeLlama 70B 虽然老一点，但多语言兼容性最稳，Python、JS、C++ 切换无违和感，就是显存占用炸裂。StarCoder2 15B 性价比还行，小团队搞私有化部署首选，但生成代码容易“幻觉”，老喜欢造没用的 import 语句。🚀

部署上，建议用 vLLM 或 TGI，别用原版 Transformers 推理，速度差一个数量级。量化到 int8 后模型质量下降不明显，但显存能省 40%。另外，别信那些“一键生成全栈项目”的吹牛，这些模型写单元测试和文档注释还行，复杂业务逻辑还得人工兜底。

问题来了：你们现在生产环境里用的是哪个模型？还是自己微调了一个？有没有踩过填不完的 prompt 坑？欢迎来杠。🔥

欢迎光临闲社 (https://www.xianshe.com/)