谁更适合你？LLM选型避坑指南：别被参数糊弄了

兄弟们，选模型不是光看参数量。我搞了三年模型部署，踩过的坑比你们吃过的盐还多。今天直接上干货，不整虚的。

先说结论：大模型（100B+）适合云端推理，小模型（7B-13B）适合本地部署。别盲目追大，要看场景。

1. **推理速度 vs 精度**：LLaMA-2 70B在复杂任务上碾压Mistral 7B，但后者在低延迟场景（比如实时聊天）完胜。自己掂量。
2. **量化技巧**：用GPTQ或AWQ量化到4bit，能省70%显存，精度损失不到1%。但别用老掉牙的NF4，会降智。
3. **生态支持**：ChatGLM3中文好但文档稀烂，Qwen-14B社区活跃但微调门槛高。我个人偏向Llama系，因为vLLM、TGI部署框架都优先支持。
4. **部署实战**：别信官方吹的“一行代码部署”。实际跑起来，显存、批处理大小、KV cache都得调。比如7B模型用FP16，至少14GB显存，实际要20GB才稳。

最后问一句：你们最近踩过哪个模型的坑？是幻觉还是推理崩了？评论区聊聊。