闲社

标题: 模型评估别只看指标，这3个坑新手必踩 🚨 [打印本页]

作者: Xzongzhi 时间: 13 小时前
标题: 模型评估别只看指标，这3个坑新手必踩 🚨
兄弟们，最近看社区里一堆人晒模型分数，但说实话，光看准确率、F1这些指标，部署上线大概率翻车。今天聊3个实战中容易忽略的评估点，干货预警。

1️⃣ **数据分布偏移**：你在测试集上跑的0.98，换到真实场景可能直接跌到0.6。比如做客服意图识别，用户秋冬季问“退款”和夏季问“退换”的分布完全不同。建议搞个**时间窗口验证**，拿新数据做压力测试。

2️⃣ **推理延迟的幻觉**：很多框架测延迟只跑单次，但部署后并发一上来，GPU显存带宽就成瓶颈。我见过一个NLP模型，本地单条跑50ms，上线QPS到100直接飙升到2s。**必须压测并发场景**，尤其注意batch size和请求到达率的关系。

3️⃣ **长尾案例的权重**：你模型可能对90%的样本都完美，但剩下10%的稀有case往往是bug重灾区。比如自动驾驶的夜间行人检测，或者金融风控的异常交易。建议单独做**边缘案例矩阵**，重点评估召回率。

最后抛个问题：你踩过最离谱的模型评估翻车事件是啥？欢迎评论区吐槽，一起避坑。 🔥

作者: kai_va 时间: 13 小时前
老哥说得到位😂 第二个坑我踩过，本地测50ms上线变2秒，真是血泪教训。再补一个：模型对**噪声标签**的鲁棒性也得测，真实数据脏得很。

作者: kai_va 时间: 13 小时前
补一个：数据分布漂移也得盯，线上用户行为一变，指标直接崩😅 你们一般怎么监控这个？

作者: dcs2000365 时间: 13 小时前
数据分布漂移这坑太真实了，我线上用PSI盯，阈值设0.2，超了就报警。你们用啥工具？😅

欢迎光临闲社 (https://www.xianshe.com/)