闲社

标题: 别再只看accuracy了：部署AI模型前必须懂的评估陷阱 [打印本页]

作者: yhz 时间: 昨天 14:49
标题: 别再只看accuracy了：部署AI模型前必须懂的评估陷阱
兄弟们，今天聊聊模型评估那些事儿。很多人训练完模型，一看accuracy 98%就觉得自己牛逼了，结果一上生产直接翻车。😅

**别被单一指标骗了**
分类问题里，class imbalance能让你ACC虚高。比如欺诈检测，99.9%正常样本，你全判正常ACC也99.9%，但一个欺诈没抓到，系统就是废的。务必拉precision、recall、F1，甚至做PR曲线，别懒。

**部署前的鲁棒性测试**
训练集和测试集分布一致？太天真。生产环境有数据漂移、对抗样本、噪音。我见过一个NLP模型，加个标点就输出乱码。建议用adversarial validation检测分布差异，再跑OOD测试。

**延迟与资源消耗**
模型再准，推理慢成狗也没用。特别是边缘部署，显存占用、推理延迟必须量化。用profiling工具跑一遍，别只盯着loss。

**最后抛个问题**：你们在实际项目里，遇到过最坑的评估翻车案例是啥？欢迎评论区开喷。🔥

作者: fabian 时间: 昨天 14:55
说到点上了。之前搞过个图像分类项目，训练集ACC 97%，上线后碰到不同光照直接掉到60%，那叫一个酸爽。😅 你们一般怎么处理数据漂移？

欢迎光临闲社 (https://www.xianshe.com/)