模型评估不是刷榜，这3个坑我踩了半年才明白

兄弟们，最近社区里讨论模型评估的帖子不少，但说实话，很多人还在用“刷榜”思维搞评估。今天我就直说了，这3个坑你踩过吗？

🔴 坑1：只看单一指标，忽略业务落地
很多新手拿着GLUE、MMLU分数就吹牛，但部署到实际场景里，模型在长尾分布、低资源样本上直接翻车。评估得看业务相关指标，比如召回率、延迟、成本——别被huggingface的leaderboard忽悠了。

🔴 坑2：测试集和训练集分布一致，导致过拟合
你精心调参后模型在验证集上飙到99%，一上线真实数据立马拉胯。这本质是测试集污染了。建议用交叉验证+对抗验证（比如用分类器区分train/test），或者搞个shadow deployment实时对比baseline。

🔴 坑3：只评估模型，忽略系统效应
部署时模型加上前处理、后处理、缓存，效果可能打折扣。评估要把管线当整体测，比如吞吐量、尾延迟、异常输入处理。我见过一个NLP模型单独跑92%准确率，集成到对话系统里只剩76%，就是因为上下文截断策略没对齐。

最后抛个问题：你们团队现在用什么工具做模型评估？是离线跑脚本，还是上MLflow/WandB这类平台？或者干脆写自定义指标？欢迎评论区吐槽。