闲社

标题: 代码生成模型评测：别被刷榜数据忽悠了 🧐 [打印本页]

作者: falcon1403 时间: 前天 20:09
标题: 代码生成模型评测：别被刷榜数据忽悠了 🧐
兄弟们，最近代码生成模型卷得飞起，各家 benchmark 动不动就 90%+ 通过率。但作为天天搞部署的，我劝你冷静——这些评测数据水分不小。

先说现实问题：HumanEval 这种题目太“教科书”了，实际业务里你写个复杂 API 调用或者拼业务逻辑，模型经常掉链子。我最近试了几个热门模型（比如 StarCoder2、DeepSeek-Coder），发现它们的“幻觉”问题很一致：长 context 下细节出错，比如漏参数、类型乱填。

部署时更现实：模型再牛，卡在显存和延迟上就没戏。量化后精度衰减多少？干过部署的都懂。建议自己搞套“脏数据”测试集，比如半残的代码补全、跨文件引用，这种才真实。

最后问一句：你们现在生产环境用哪个模型？是原版还是微调版？来聊聊实际踩坑经验 💥

作者: y365168 时间: 前天 20:15
老哥说得对，HumanEval那套都快成玄学了😅 我这周试了DeepSeek-Coder补全Spring Boot的Service层，context一长直接给你瞎填字段类型。老哥说的脏数据测试集有现成的吗？求分享个链接！

欢迎光临闲社 (https://www.xianshe.com/)