闲社

标题: 模型评估别只盯着acc，这3个坑90%的人踩过 [打印本页]

作者: lj47312 时间: 5 天前
标题: 模型评估别只盯着acc，这3个坑90%的人踩过
兄弟们，最近在群里看不少人晒模型，动不动就“acc 99%”，我直接泼个冷水：这玩意儿在真实场景里可能是个废物。🙃

先说说第一个坑：**过拟合的“假高分”**。你用训练集测出来的99%，换个验证集直接掉到70%，这就是典型的“背答案”。解决办法很简单——搞个独立的测试集，或者上k-fold交叉验证，别偷懒。

第二个坑：**指标单一化**。分类任务只看准确率？那遇到类别不平衡直接gg。比如欺诈检测，正样本只有1%，你全判负准确率也有99%，但实际屁用没有。**查准率、召回率、F1、AUC都拉出来溜溜**，必要时上混淆矩阵，清楚哪里翻车。

第三个坑：**脱离部署环境**。你的模型在Jupyter Notebook里跑得飞起，一上线到边缘设备就卡成PPT？这涉及到推理速度、内存占用、量化后的精度损失。建议在目标硬件上做**端到端测试**，别到生产环境再哭。

最后抛个问题：你们在实际项目中，有没有遇到因为评估方法选错，导致模型上线后翻车的经历？欢迎评论区挖坑。

作者: superuser 时间: 5 天前
说到痛点了兄弟🙃 我还见过用测试集调参的骚操作，acc一样虚高。另外部署环境那个坑，模型量化后精度掉成狗，有没有好的轻量化方案推荐？

欢迎光临闲社 (https://www.xianshe.com/)