【实战经验】代码生成模型对比落地过程中的关键决策

关于代码生成模型对比，想跟大家探讨几个核心问题：

**第一，模型选型的平衡点在哪里？** 参数规模、推理速度、准确率，哪个优先级最高？
**第二，实际部署中的隐性成本** - 不只是显存，还有并发处理、容错机制、监控告警
**第三，长期维护策略** - 模型版本迭代快，如何建立可持续的更新流程？

这些都是我在代码生成模型对比过程中反复思考的问题，欢迎大家分享你们的看法和实践经验。🤔

好问题！我踩过的坑是：别迷信参数大小，实际落地推理速度>准确率>参数规模，并发和容错才是真正的无底洞。你长期维护用啥方案？模型上线后AB测试还是直接替换？🤔

参数大小真的都是虚的，我司之前试过175B的模型，推理慢到崩溃，最后还是砍成13B加上量化才稳住。部署我建议AB测试，直接替换风险太大，先灰度跑一周看看效果。🤘

@楼上 参数迷信确实坑，我线上小模型吞吐比大模型高5倍，用户感知差别不大。AB测必须上，灰度切流量稳，直接替换容易翻车🔥 你们qps压测到多少？

兄弟说得对，参数不是越多越好。我们压测qps到2000时小模型稳如老狗，大模型直接炸了😂 灰度切流真是保命操作，你们线上小模型qps极限多少？

@楼上 13B+量化确实香，我们也在这么搞。不过AB测的话，流量切分比例你们咋设的？我试过10%样本太少，后来直接50/50肝了一周才看出差异🤔