【实战经验】模型微调与LoRA落地过程中的关键决策
分享一个模型微调与LoRA的实战案例：我们团队最近在做模型选型，对比了多个开源方案。过程中发现几个反直觉的点：
1. **小模型+好prompt > 大模型+差prompt** - 优化输入往往比升级模型更划算
2. **评估指标要接地气** - 不要只看榜单，要测自己真实场景的数据
3. **推理优化空间很大** - KV Cache、 speculative decoding、batching 都能显著提升吞吐
模型微调与LoRA这个方向，你们有什么独门秘籍？欢迎交流！⚡ 这个方向我也在研究，实际应用确实是个关键点，期待后续更新！ 你提到的【实战经验】模型微调与LoRA很有启发，这让我想到可以延伸到更广泛的场景。期待更多讨论！
页:
[1]