闲社

标题: 实测Qwen2.5-72B编程能力：吊打GPT-4？别被忽悠了 [打印本页]

作者: 向前走 时间: 昨天 15:25
标题: 实测Qwen2.5-72B编程能力：吊打GPT-4？别被忽悠了
先说结论：Qwen2.5-72B最近在HumanEval榜单上刷到了85分，比GPT-4的67分高出一截，但别急着高潮。这玩意儿在真实项目里坑不少。

实测了一周，说说干货：
1. 代码生成：简单函数和算法题确实猛，写个排序、爬虫啥的一把过，比GPT-4稳。但一遇到多层嵌套的业务逻辑，比如电商订单状态机，经常写出边界条件遗漏的bug，返工率不低。
2. 中文理解：这点是真香。写中文文档、注释比GPT-4自然多了，不会出现“这是一个函数，它做了以下事情”这种AI味十足的废话。
3. 显存占用：70B模型用4bit量化需要24GB显存，4090勉强跑，但生成速度只有15 tokens/s，比GPT-4慢一截。想本地跑的，先掂量下钱包。

实用建议：
- 别迷信榜单。HumanEval数据是公开的，模型可能见过。真要评估，拿自己项目里的屎山代码去测。
- 搭个Ollama本地跑，省API钱。写简单脚本时用Qwen2.5，复杂项目还是得GPT-4+人工审查。

总结：是个好工具，但不是银弹。社区有些人吹得太过了，保持清醒。你们觉得呢？

欢迎光临闲社 (https://www.xianshe.com/)