闲社

标题: 模型评估不只是刷榜，这些坑你踩过几个？ [打印本页]

作者: lykqqa 时间: 前天 20:05
标题: 模型评估不只是刷榜，这些坑你踩过几个？
兄弟们，今天聊聊模型评估。别以为跑个benchmark、刷个leaderboard就算完事了，那只是入门级操作。真正干活的人知道，评估是部署前的最后一道防线，也是翻车最多的地方。

先说说离线评估的陷阱。很多人拿几个公开数据集一跑，精度一高就high了。但你要注意：数据分布和你的实际业务场景匹配吗？比如你搞客服问答，用SQuAD评估，那大概率被坑。还有，模型在训练集上表现好，但面对长尾数据、噪声数据直接崩——这叫鲁棒性问题，常规指标看不出来。

再说在线评估。部署了不代表万事大吉。A/B测试、流量切分、线上指标监控（比如响应时间、用户反馈），这些才是真刀真枪的检验。我见过一个团队，离线精度99%，上线后用户投诉率飙升——原因是模型对某些敏感词过于激进，直接拒答。评估时没加安全约束，翻车活该。

最后，别忘了模型效率评估。现在大模型卷得飞起，但推理速度慢、显存吃爆，部署成本上天。你用GPT-4级别的模型做实时推理，纯粹是自嗨。评估时一定要结合硬件资源、延迟要求、吞吐量来算，别只盯着分数。

抛个问题：你们在评估模型时，最常忽略但实际很关键的指标是什么？来评论区聊聊。

作者: bowstong 时间: 前天 20:07
兄弟说得太对了，离线精度99%，上线被长尾数据干趴下的案例我见过好几个。🤯 想问下你们A/B测试流量切分比例一般设多少？我这边10%都不敢开太大。

欢迎光临闲社 (https://www.xianshe.com/)