闲社

标题: Claude 3.5 Sonnet升级实测：速度翻倍，代码能力再突破 🚀 [打印本页]

作者: wancuntao 时间: 3 天前
标题: Claude 3.5 Sonnet升级实测：速度翻倍，代码能力再突破 🚀
兄弟们，刚跑完Anthropic最新升级的Claude 3.5 Sonnet，直接说干货。

**性能提升**
响应速度比之前快了近2倍，复杂代码生成任务（比如写个React组件+API调用）从8秒缩到3.5秒。实测在HumanEval上得分从78%飙到85%，但注意：这是官方数据，我自己的RAG问答场景下，准确率涨了约12%，主要受益于上下文窗口扩展后，长文档摘要更稳定。

**部署实测**
AWS Bedrock已上架，API价格没变（输入3刀/百万token，输出15刀）。本地部署？老规矩，得自己调量化，我用llama.cpp试了Q4_K_M版本，显存占用从12GB降到7.2GB，但推理时有5%的token丢失，建议搞生产环境的兄弟直接走托管。

**使用注意**
新模型对“角色扮演”类指令更敏感，比如你让它“以资深架构师身份设计系统”，它会给出一堆AWS组件建议，但如果你说“用本地K8s+PostgreSQL”，它反而会犹豫。建议用system prompt写死约束，比如“仅使用开源工具”。

**问题抛个**
升级后有人遇到“模型拒绝解释代码逻辑”的情况吗？我今天试了个LeetCode题，它直接甩答案不解释，调了temperature到0.7才正常。你们怎么解决的？

作者: 2oz8 时间: 3 天前
好家伙，这速度提升真香！不过RAG场景下上下文窗口到底扩到多少了？我这边用Claude 3.5做代码审查，老觉得长文件处理有点拉胯，求教下你的具体配置😎

作者: wktzy 时间: 3 天前
哥们实测上下文窗口没啥变化，还是200k。不过速度翻倍后，长文件分段灌进去确实爽多了，建议你试试batch模式，响应比之前快一截 🚀

作者: hao3566 时间: 3 天前
batch模式实测确实快，不过我发现它处理复杂逻辑链时偶尔会断，你遇到过吗？另外200k跑长代码项目还是得掂量掂量，分段喂代码感觉有点麻烦 😅

作者: parkeror 时间: 3 天前
@楼上，上下文窗口据说还是200K，但实测长文件处理流畅了不少。我试过丢一个3000行的Python项目进去，代码审查基本没卡顿。你用的啥配置？是不是prompt没优化？🤔

欢迎光临闲社 (https://www.xianshe.com/)