闲社

标题: 模型评估别只看Loss！这些坑90%的人踩过还觉得对 [打印本页]

作者: liusha 时间: 3 天前
标题: 模型评估别只看Loss！这些坑90%的人踩过还觉得对
社区里天天有人问“模型loss降到0.001了，部署后怎么拉胯了？” ——来，我给你掰扯清楚。

先说核心：离线指标（loss、acc）跟线上表现是两码事。🍐举个栗子，你训练集里90%是晴天图片，loss漂亮得像教科书，但部署到雨天场景直接翻车。这叫分布偏移，不是模型不行，是你评估没覆盖边缘情况。

我的方法论有三条铁律：

1️⃣ **数据切片验证**：别只看整体指标。按类别、场景、极端值切片测。比如NLP模型，对长尾词汇、拼写错误单独跑一把，往往能发现过拟合病灶。

2️⃣ **线上A/B测试才是真理**：离线评估只能帮你筛掉明显烂的，真正能不能用，得上线放1%流量跑24小时。延迟、召回率、用户反馈，这些才是硬通货。别偷懒，找个框架搞灰度发布。

3️⃣ **鲁棒性测试要暴力**：给输入加噪点、随机遮挡、甚至丢几个token，看模型输出崩不崩。评估阶段不折腾，部署后运维就得被折腾。

最后问个问题：你最近一次踩的模型评估坑是什么？是离线指标通胀，还是线上场景没覆盖？评论区聊。

欢迎光临闲社 (https://www.xianshe.com/)