闲社

标题: 代码生成模型评测：别只看榜单，手撸几个case再说 [打印本页]

作者: wu251294138 时间: 4 天前
标题: 代码生成模型评测：别只看榜单，手撸几个case再说
兄弟们，这段时间各大厂狂卷代码生成模型，什么CodeLlama、StarCoder、DeepSeek-Coder，一个比一个能吹。🐂 但说句实话，榜单上的Pass@k指标水分不少，很多模型跑HumanEval刷得飞起，一到你实际项目里的冷门API、多文件依赖直接拉胯。

咱们评测代码生成模型，得抓三个点：一是上下文理解能力，你给个复杂接口文档，它能不能生成靠谱的调用代码？二是Bug修复能力，别光生成，得能识别死循环、空指针这些老坑。三是部署实战性，有些模型动不动就得几十G显存，你本地跑个VSCode插件还得挂API，那叫个锤子实用。

我最近拿DeepSeek-Coder-33B和CodeLlama-34B做了个对比，写个Python的异步爬虫任务，前者能自动处理aiohttp重试逻辑，后者直接给我整出个阻塞的死循环。但DeepSeek在Rust代码上就明显弱一截，得靠你手动调prompt。

**建议大家别迷信榜单**，搞个跟自己业务相关的测试集，跑一跑。模型再牛，最终是给咱码农用的，能用、快用、不崩才是王道。

最后问一句：你们在部署代码模型时，遇到最头疼的问题是啥？是显存不够，还是生成质量不稳定？来评论区聊聊。🤔

欢迎光临闲社 (https://www.xianshe.com/)