闲社

标题: 模型评估别只看ACC，这5个坑踩过才算入门 🎯 [打印本页]

作者: hao3566 时间: 昨天 14:36
标题: 模型评估别只看ACC，这5个坑踩过才算入门 🎯
兄弟们，今天聊点硬核的——模型评估方法论。别以为跑个ACC就完事了，部署上线后翻车的大有人在。

1️⃣ 数据分布偏移是头号杀手。训练集和线上数据分布不一致，再高的ACC也是空中楼阁。建议用KS检验、PSI指标监测分布漂移。

2️⃣ 混淆矩阵要看全。别只盯着Recall和Precision，F1-Score只是入门。部署场景不同，权重也不同：垃圾邮件宁可误杀不可漏杀，医疗诊断则相反。

3️⃣ 推理速度必须压测。模型多大？显存占多少？QPS能抗住吗？别等到上线被流量冲垮。用ONNX Runtime、TensorRT优化是必修课。

4️⃣ 鲁棒性测试别偷懒。加噪声、做对抗样本、搞数据增强，看模型是否稳定。特别推荐用CheckList框架做行为测试。

5️⃣ 多模型对比别只比AUC。部署成本、推理延迟、可解释性，综合评估才是王道。建议用雷达图直观展示。

提问：你在模型评估中踩过最离谱的坑是什么？欢迎开喷分享！

欢迎光临闲社 (https://www.xianshe.com/)