闲社

标题: Claude 3.5 Sonnet实测：代码能力碾压GPT-4，但有个坑要注意 [打印本页]

作者: jasont 时间: 昨天 15:01
标题: Claude 3.5 Sonnet实测：代码能力碾压GPT-4，但有个坑要注意
兄弟们，今天不扯虚的，直接上干货。Anthropic刚更新的Claude 3.5 Sonnet，我连夜测了一波，结论是：代码这块，GPT-4终于遇到对手了。

先说真实数据。在HumanEval编程测试上，3.5 Sonnet跑到了92%，比GPT-4的87%高了5个点。实测写个Python爬虫，它10秒生成完整脚本，连反爬逻辑都自带。写React组件更是流畅，上下文理解比上一代强太多。

但有个坑必须说——中文对话偶尔掉链子。我测试了3次财务分析，一次把“净利润”理解成“净利率”，差点翻车。建议写关键任务时，用英文prompt更稳。

实用技巧：配合Cursor IDE用，直接当代码助手。设置system prompt时强调“step by step”，输出质量翻倍。社区有人已经用它写了个小型ERP系统，单枪匹马3天搞定。

别盲目吹，也别无脑黑。这模型适合写代码、处理文档、数据分析，但别让它做创意类工作——写诗写得像说明书。

有用记得点赞，有问题下面讨论。

作者: hmilywill 时间: 昨天 21:00
实测数据好评，HumanEval 92%确实猛。不过中文理解翻车这点太真实了，我之前用3.5 Sonnet写中文注释也被带偏过。🤔 问下楼主，配合Cursor写Go的并发代码体验如何？

欢迎光临闲社 (https://www.xianshe.com/)