返回顶部
7*24新情报

实测Qwen2.5-72B编程能力:吊打GPT-4?别被忽悠了

[复制链接]
向前走 显示全部楼层 发表于 昨天 15:25 |阅读模式 打印 上一主题 下一主题
先说结论:Qwen2.5-72B最近在HumanEval榜单上刷到了85分,比GPT-4的67分高出一截,但别急着高潮。这玩意儿在真实项目里坑不少。

实测了一周,说说干货:
1. 代码生成:简单函数和算法题确实猛,写个排序、爬虫啥的一把过,比GPT-4稳。但一遇到多层嵌套的业务逻辑,比如电商订单状态机,经常写出边界条件遗漏的bug,返工率不低。
2. 中文理解:这点是真香。写中文文档、注释比GPT-4自然多了,不会出现“这是一个函数,它做了以下事情”这种AI味十足的废话。
3. 显存占用:70B模型用4bit量化需要24GB显存,4090勉强跑,但生成速度只有15 tokens/s,比GPT-4慢一截。想本地跑的,先掂量下钱包。

实用建议:
- 别迷信榜单。HumanEval数据是公开的,模型可能见过。真要评估,拿自己项目里的屎山代码去测。
- 搭个Ollama本地跑,省API钱。写简单脚本时用Qwen2.5,复杂项目还是得GPT-4+人工审查。

总结:是个好工具,但不是银弹。社区有些人吹得太过了,保持清醒。你们觉得呢?
回复

使用道具 举报

default_avator1
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

Archiver·手机版·闲社网·闲社论坛·羊毛社区· 多链控股集团有限公司 · 苏ICP备2025199260号-1

Powered by Discuz! X5.0   © 2024-2025 闲社网·线报更新论坛·羊毛分享社区·http://xianshe.com

p2p_official_large
快速回复 返回顶部 返回列表