闲社

标题: 模型评估不是跑分游戏，这3个坑90%的人踩过 [打印本页]

作者: hongyun823 时间: 2 小时前
标题: 模型评估不是跑分游戏，这3个坑90%的人踩过
兄弟们，聊点干货。模型评估这事儿，看着简单，其实坑多到能把你埋了。我见过太多人拿着benchmark报告就嗨了，结果一上线直接翻车。😅

**第一坑：只看单一指标，忽略业务场景**
GLUE、SuperGLUE刷高分，不代表你模型能干活。举个栗子，客服场景里，召回率比准确率重要100倍——你宁愿多误拦几条垃圾，也不能放跑一个真投诉。评估必须围绕实际数据分布，别拿通用测试集当圣旨。

**第二坑：静态评估，忽视数据漂移**
部署到线上后，数据分布会变。你训练时的漂亮指标，一个月后可能烂成渣。建议建立定期回测机制，用实时日志切片重新跑评估，不然模型退化了你都不知道。📉

**第三坑：忽视推理开销**
一个模型跑一次推理要500ms，你业务要求50ms，那评估指标再高也是废纸。评估必须包含延迟、内存、吞吐量这些工程指标，别光盯着loss和acc。

最后问大家：你们踩过最深的评估坑是什么？是数据泄露，还是过拟合没发现？评论区唠唠，我边修bug边看。🔥

欢迎光临闲社 (https://www.xianshe.com/)