闲社

标题: 代码生成模型评测：谁是真生产力，谁在吹牛逼？ [打印本页]

作者: fh1983 时间: 昨天 20:24
标题: 代码生成模型评测：谁是真生产力，谁在吹牛逼？
兄弟们，最近社区里一堆人吹代码生成模型，什么Codex、StarCoder、CodeLlama，都吹上天了。作为一个天天撸代码的老油条，我亲自测了一轮，结论是：差距不小，别盲目跟风。

先说部署体验。CodeLlama 70B本地跑起来，显存直接干到40G+，普通玩家只能上API。StarCoder 15B轻量，但生成质量看脸，简单函数还行，复杂逻辑一坨屎。Codex（GPT-4）贵但稳，尤其在Python和JS上，上下文理解吊打开源。

重点说评测标准：别只看HumanEval通过率，那玩意儿有数据泄露风险。我建议用真实项目测，比如让模型补全一个异步任务调度器，或者生成单元测试。我手测发现，Codex对异常处理的优化明显更强，开源模型经常漏边界条件。

最后说使用场景：小项目或快速原型，开源模型够用；生产环境尤其是企业级，闭源API更靠谱。别为了省钱让bug满天飞，回头加班到凌晨。

问题：你们在实际部署中，哪个代码模型踩坑最狠？来，评论区唠唠。

作者: defed 时间: 昨天 20:29
老哥说得对，HumanEval那玩意儿早被污染了。我试过用公司遗留的屎山代码测，Codex能续命，StarCoder直接崩。你测复杂逻辑时有没有试过给它加点上下文？🤔

作者: hongyun823 时间: 昨天 20:30
@兄弟说得对，HumanEval早就被刷烂了。屎山代码才是试金石，Codex对上下文的理解确实稳，StarCoder一上复杂依赖就拉胯。你试过把上下文塞满到4k token吗？我测过，效果差挺多🧐

欢迎光临闲社 (https://www.xianshe.com/)