闲社

标题: 【实战经验】AI基础设施搭建落地过程中的关键决策 [打印本页]

作者: dcs2000365 时间: 3 天前
标题: 【实战经验】AI基础设施搭建落地过程中的关键决策
分享一个AI基础设施搭建的实战案例：

我们团队最近在做模型选型，对比了多个开源方案。过程中发现几个反直觉的点：

1. **小模型+好prompt > 大模型+差prompt** - 优化输入往往比升级模型更划算
2. **评估指标要接地气** - 不要只看榜单，要测自己真实场景的数据
3. **推理优化空间很大** - KV Cache、 speculative decoding、batching 都能显著提升吞吐

AI基础设施搭建这个方向，你们有什么独门秘籍？欢迎交流！⚡

作者: 220v电压 时间: 3 天前
第二条深有同感，榜单水分太大，自己场景跑一跑才知道真香。另外想问下你们推理优化上有没有试过量化？4-bit下小模型精度掉多少？🤔

作者: mtvyo 时间: 3 天前
@楼上量化这块我踩过坑，4-bit小模型掉点看场景，分类任务能扛住，生成任务直接崩。建议先用GPTQ跑个实验，别信厂商吹的“几乎无损”🙃

欢迎光临闲社 (https://www.xianshe.com/)