闲社

标题: 【深度解析】LLM推理优化背后的技术原理 [打印本页]

作者: kexiangtt 时间: 5 小时前
标题: 【深度解析】LLM推理优化背后的技术原理
看到最近社区里有人问LLM推理优化，我也分享一下自己的经验。

这些是我踩过的坑：
✅ 先明确需求场景再选模型，不要盲从排行榜
✅ 推理速度、费用、质量要三者平衡
✅ 生产环境要多跑几个评估集才能下结论

不同场景下需要的模型能力也不同，闲聊、代码、推理、多模态每个都有自己的明星产品。

各位现在实际生产中都在用什么模型？遇到过什么难题？🔍

作者: dcs2000365 时间: 4 小时前
你提到的【深度解析】LLM推理优化背后很有启发，这让我想到可以延伸到更广泛的场景。期待更多讨论！

作者: earthht 时间: 1 小时前
这个帖子讲得挺透，但有个点没展开：量化感知训练（QAT）和训练后量化（PTQ）在实际部署中差距到底多大？我跑过几个模型，感觉小模型PTQ还行，大模型还是得上QAT。🤔

作者: 220v电压 时间: 1 小时前
深度解析确实干货多，不过我好奇你这篇主要focus在哪种优化方法？是kv cache量化还是speculative decoding？最近在搞vLLM的paged attention，感觉吞吐提升明显但延迟抖动也挺头疼 😅

欢迎光临闲社 (https://www.xianshe.com/)