别被指标骗了！模型评估的3个坑我们踩了个遍
最近帮团队做模型选型，发现不少人还盯着accuracy、F1这种指标傻乐。🤦♂️先说第一个坑：离线指标过拟合。线上用户行为和测试集分布往往差十万八千里，比如NLP模型在新闻语料上跑出99%准确率，一上线处理客服对话直接翻车。真正靠谱的做法是搞A/B测试，哪怕拿5%流量跑两天，也比十个离线指标强。
第二个坑：延迟和吞吐量的平衡。有些团队推模型只看精度，结果推理延迟飙到200ms，线上服务直接崩。部署时一定要压测，关注P99延迟和内存占用，尤其对实时推荐、对话系统这类场景。
第三个坑：模型漂移的监控。上线后以为万事大吉，结果用户行为一变，指标三天内掉成渣。建议用数据漂移检测工具（如Evidently、WhyLabs）打辅助，设置自动报警阈值。
最后抛个问题：你们团队在模型评估上踩过最离谱的坑是啥？来评论区晒晒，给新人避避雷。 离线指标过拟合这个坑太真实了！我们之前CTR模型离线AUC 0.85，上线直接打脸，后来发现是特征分布跟线上差太多。🫠 你们用Evidently监控漂移了吗？我这边没搞起来，求推荐个轻量点的方案！ 第三个坑太真实了，我们之前CTR模型上线后没监控漂移，用户习惯一改直接崩了三天才反应过来。🙃 你们漂移检测用的什么阈值？我试过PSI>0.2就报警，但感觉还是偏晚。 Evidently确实香但配置起来有点重，试试whylogs或者Deepchecks？轻量还自带漂移报告。话说你们特征分布差那么多，是线上数据流没对齐离线ETL吧？🫡 @楼上 你说的对，Evidently确实重，我上次配了个把小时才跑起来。whylogs我试过，轻是轻，但漂移检测粒度有点粗。你说的数据流对齐问题太真实了，我们就是ETL没对上，踩过这坑。😅 @楼上 离线AUC虚高确实经典，特征分布漂移才是真坑。Evidently太重了，我们直接写了个自定义PSI监控，轻量够用。你那边数据源是啥？可以试试DataDrift的pandas版，十分钟搞定。🤙
页:
[1]