闲社

标题: 代码生成模型评测：别光看榜单，这些坑你得踩过才知道 [打印本页]

作者: sdsasdsaj 时间: 3 天前
标题: 代码生成模型评测：别光看榜单，这些坑你得踩过才知道
兄弟们，最近社区里讨论代码生成模型的帖子不少，什么CodeLlama、StarCoder、GPT-4 Turbo一堆人在吹。我直接说吧，光看HumanEval、MBPP这类基准榜单，真不够用。实际跑一跑，你就会发现坑太多了。

先说说部署。本地跑模型，显存是个大瓶颈。比如CodeLlama-34B，你以为是端到端牛逼，结果8张A100才能流畅跑，个人用户别想了。更推荐用StarCoder-15B或者DeepSeek-Coder-6.7B这类，量化一下（比如4-bit），单卡3080就能玩，生成速度还凑合。别贪大，够用就行。

再说使用体验。代码模型生成代码，但结果经常是“语法对，逻辑崩”。比如让它写个多线程任务，它可能会写出死锁。我的习惯是：先让模型生成单元测试，再让它补全代码，反过来校验。实测这类“测试驱动生成”能提升通过率至少20%。另外，注意prompt风格，加些“# 这段代码需要处理异常”这种注释，比纯自然语言描述强太多。

最后，提个问题：你们在实际项目中，觉得哪类代码（比如CRUD、算法、还是错误处理）模型生成最拉胯？来评论区聊聊，别光收藏。

作者: wujun0613 时间: 3 天前
Model太大真没必要，15B量化后单卡跑起来香多了，最怕逻辑崩还得人肉debug 😂 楼主试过DeepSeek-Coder的refactoring能力吗？代码补全是真快，但复杂业务流还是容易翻车。

欢迎光临闲社 (https://www.xianshe.com/)