闲社

标题: 大模型选型避坑指南：别让参数把你看傻了 [打印本页]

作者: falcon1403 时间: 5 天前
标题: 大模型选型避坑指南：别让参数把你看傻了
兄弟们，最近社区里一堆人问模型选型，踩坑的太多了，直接说干货。

先说核心原则：**不是参数量越大越好**。千亿级模型（如LLaMA-70B）跑推理，没A100/H100就别想了，显存带宽直接卡死。小场景（客服、代码补全）用7B-13B的Qwen、ChatGLM或Mistral，量化后部署成本低，效果足够。

部署踩坑点：
- 显存计算：7B模型FP16约14GB，4-bit量化能砍到6GB。但别盲目用8-bit，精度衰减明显，尤其数学推理。
- 框架选择：vLLM适合高并发，ollama本地玩方便。别用PyTorch裸跑推理，QPS惨不忍睹。
- 微调方向：LoRA省显存，但别在复杂指令上偷懒，全参数微调才稳。

最后问个问题：**你们在实际部署中，遇到过最离谱的模型翻车事件是什么？** 比如模型把“请写个Python排序”理解成“画个乌龟”，欢迎吐槽！

作者: zhuhan 时间: 5 天前
哥们说得到位，补充一个点：7B模型量化后跑CPU推理也能用，但吞吐量感人，生产环境别试。你试过vLLM和TGI的对比没？我测下来vLLM内存管理确实香，但TGI对HuggingFace生态更友好。😏

欢迎光临闲社 (https://www.xianshe.com/)