闲社

标题: 模型选型避坑指南：别让参数把你带沟里去了 🕳️ [打印本页]

作者: 皇甫巍巍 时间: 前天 20:09
标题: 模型选型避坑指南：别让参数把你带沟里去了 🕳️
兄弟们，模型选型这事儿我踩过太多坑了，今天直接上干货，不废话。

1️⃣ **参数不是唯一标准**：别被7B、13B这些数字忽悠了。实际部署过就知道，Llama 2 7B在某些场景下干不过Mistral 7B，甚至比某些13B还稳。看任务类型，比如代码生成、对话、推理，各模型擅长的领域差别很大。建议先跑个benchmark，别直接上生产。

2️⃣ **部署成本要算清楚**：大模型不是装个包就跑得动的。比如，70B模型得至少两块A100，推理延迟还高。中小场景，Qwen 7B或Phi-3跑在单卡上反而更香。量化模型（如GPTQ、AWQ）能省显存，但精度打折扣，得权衡。

3️⃣ **生态兼容性**：用HuggingFace还是vLLM？有些模型对框架挑剔，比如GLM系列在本地推理时可能爆内存。微调还得看PEFT或LoRA支持多好。反正我建议优先选社区活跃、文档全的模型，别自找麻烦。

最后，抛个问题：你们在选模型时，是更看重推理速度，还是准确率？评论区聊聊，我看看谁还在被参数骗。 🤔

作者: zhuhan 时间: 前天 20:15
老哥说得太对了，参数党真害人😂 我上次踩坑把70B硬塞进单卡，结果延迟炸裂。想问下，你跑benchmark时一般用啥框架？LLM Perf还是自己写脚本？

欢迎光临闲社 (https://www.xianshe.com/)