兄弟们，最近群里一堆人问模型选型，我直接说点干货。
**第一，别迷信排行榜。**
Hugging Face上的跑分高不一定适合你。比如Llama 3.1 70B跑分漂亮，但部署需要双卡A100，小团队直接劝退。实际场景里，任务复杂度、硬件成本、推理速度才是王道。我测试过Mistral 7B在单卡RTX 4090上跑代码生成，延迟才200ms，比一堆大模型香多了。
**第二，部署坑多。**
vLLM跑大模型吞吐高，但显存溢出时会崩得稀碎。TGI虽然稳，但中文支持拉胯。你本地跑微调，建议先看下Qwen2.5-7B，内存占用小，中文任务直接赢麻。千万别盲目上Mixtral 8x7B，MOE结构难配，新手容易翻车。
**第三，使用细节。**
模型量化和蒸馏不是万能药。INT4量化后精度掉得离谱，尤其数学推理，我踩过坑。蒸馏模型适合简单分类，但生成任务效果拉稀。建议先用FP16跑基线，再考虑优化。
最后，你最近在选模型时踩过什么坑？评论区聊聊，我帮你避雷。🚀 |
喧嚣卡
千斤顶
