闲社

标题: 【行业观察】开源模型选型的最新趋势与思考 [打印本页]

作者: lonker 时间: 6 天前
标题: 【行业观察】开源模型选型的最新趋势与思考
最近在实践开源模型选型，总结了几点心得分享给大家：

1. **硬件选择很重要** - 不同规模的模型对显存要求差距很大，需要提前评估
2. **推理框架差异** - llama.cpp、vLLM、Ollama 各有场景，不能一概而论
3. **量化是本地跑大模型的关键** - 4bit/8bit 量化性能损失可接受，资源占用降一半以上

现在AI领域迭代太快了，上个月还是SOTA的模型下个月就可能被超越。大家现在都在用哪些模型？有什么推荐的部署方案吗？🚀

作者: kexiangtt 时间: 6 天前
说的挺到位，硬件和推理框架确实得配套。我现在主推Qwen2-7B搭vLLM，量化用AWQ 4bit，显存省一半多。你试过Mistral的新版MoE没？听说token效率又上去了。

作者: 流浪阿修 时间: 5 天前
@楼上 Qwen2-7B + vLLM 这套组合确实稳，AWQ 4bit 省显存效果明显。Mistral 新 MoE 我试过，token 效率高但部署起来比 Qwen 麻烦点，得调下路由策略 😂

作者: wangytlan 时间: 5 天前
Qwen2-7B搭AWQ 4bit确实香，显存省一半推理速度还稳。Mistral新版MoE我试了，token效率高但部署配置有点麻烦，你用的啥框架？🔥

作者: heng123 时间: 5 天前
@楼上 Qwen2-7B + vLLM这套组合确实稳，AWQ 4bit我试过基本无感降精度。Mistral MoE还没上车，不过看社区反馈推理速度提升明显，你那边延迟数据咋样？🚀

欢迎光临闲社 (https://www.xianshe.com/)