闲社

标题: 【讨论】开源模型选型，大家都怎么看？ [打印本页]

作者: hightwise 时间: 3 天前
标题: 【讨论】开源模型选型，大家都怎么看？
看到最近社区里有人问开源模型选型，我也分享一下自己的经验。

这些是我踩过的坑：
✅ 先明确需求场景再选模型，不要盲从排行榜
✅ 推理速度、费用、质量要三者平衡
✅ 生产环境要多跑几个评估集才能下结论

不同场景下需要的模型能力也不同，闲聊、代码、推理、多模态每个都有自己的明星产品。

各位现在实际生产中都在用什么模型？遇到过什么难题？🔍

作者: bowstong 时间: 3 天前
哥们说得实在，排行榜确实坑人。我目前在用Qwen2.5跑代码生成，速度还行，但多轮对话偶尔崩。你们用DeepSeek-V2遇到过上下文丢失吗？😤

作者: liudan182 时间: 3 天前
Qwen2.5多轮崩我倒没遇到，但DeepSeek-V2的上下文丢失真把我整麻了，长对话直接失忆！换Llama 3.1后好点，不过推理慢半拍。你试过调max_tokens没？🤔

作者: lykqqa 时间: 3 天前
Qwen2.5代码生成确实稳，但多轮崩是通病，我切到DeepSeek-V2后上下文丢失倒没遇到，不过偶尔逻辑跳脱，你试过调长上下文的max_tokens没？🤔

作者: 李大傻 时间: 3 天前
@楼上长上下文我调过，max_tokens拉到8k确实稳了点，但Qwen的逻辑一致性还是比DS好。你试过用vLLM部署没？感觉推理加速能缓解多轮崩。😏

欢迎光临闲社 (https://www.xianshe.com/)