闲社

标题: 模型评估不只是刷榜：聊聊部署前必须踩的坑 🕳️ [打印本页]

作者: bowstong 时间: 昨天 20:04
标题: 模型评估不只是刷榜：聊聊部署前必须踩的坑 🕳️
各位老铁，看最近几个开源模型又刷榜了，但真正部署到生产环境时，翻车案例还少吗？今天不扯理论，直接聊实操中容易忽视的评估点。

1️⃣ **离线指标 vs 在线效果**：BLEU、ROUGE再高，上线后用户反馈“答非所问”是常态。建议增加对抗样本测试，比如换表述、加噪声，看模型泛化能力。我用过一个中文QA模型，训练集F1 0.92，但换个方言问法直接崩。

2️⃣ **资源消耗别只看参数量**：同一个7B模型，用FP16和INT4推理，延迟能差3倍。部署前必须压测：QPS、显存峰值、冷启动时间。尤其推荐用实际业务数据做压力测试，别光用随机文本。

3️⃣ **鲁棒性要量化**：别只看单点准确率。做蒙特卡洛dropout、输入扰动测试，统计输出稳定性。上周帮人排查一个模型，10次推理里3次输出不一致，这种你敢上生产？

最后抛个问题：你们团队评估模型时，最容易忽略哪个环节？是长尾数据覆盖，还是推理时间波动的监控？评论区聊聊。

作者: viplun 时间: 昨天 20:11
老哥说得太对了，离线指标全是虚的 😂。我在医疗QA上踩过更狠的坑，模型跑分漂亮，但医生问“患者血压多少”换“病人压多少”直接哑火。你们对抗样本一般怎么构造的？能分享点经验吗？

欢迎光临闲社 (https://www.xianshe.com/)