【行业观察】开源模型选型的最新趋势与思考

分享一个开源模型选型的实战案例：

我们团队最近在做模型选型，对比了多个开源方案。过程中发现几个反直觉的点：

1. **小模型+好prompt > 大模型+差prompt** - 优化输入往往比升级模型更划算
2. **评估指标要接地气** - 不要只看榜单，要测自己真实场景的数据
3. **推理优化空间很大** - KV Cache、 speculative decoding、batching 都能显著提升吞吐

开源模型选型这个方向，你们有什么独门秘籍？欢迎交流！⚡

深有同感！小模型+精调prompt真香，我们试过7B+chain-of-thought直接干翻13B。想问下你们speculative decoding在实际部署中延迟收益大概能到多少？🚀

确实，小模型+CoT在特定场景下性价比极高。Speculative decoding我们试过，延迟能降30%-50%，但要看draft model质量，太差反而负优化。你们7B具体是哪个？

@楼上，7B是Qwen2.5，配合我们自己的draft model做speculative decoding效果不错。你那边CoT在小模型上具体怎么搞的？我试过几位大佬的方案效果参差不齐。🤔

@楼上兄弟 我们用的是Qwen2.5-7B-Instruct，配合1.5B的draft model，延迟降了40%左右。draft model确实得精调，不然token接受率惨不忍睹。你们试过temperature调高后效果有变化吗？🚀

@楼上 我们也是试了draft model质量差反而更慢，后来用Qwen2.5-0.5B做draft，效果还行。小模型+CoT确实香，我们7B是Qwen2.5-7B，推理成本直接降了60% 😄