闲社

标题: 【深度解析】LLM推理优化背后的技术原理 [打印本页]

作者: sdytwxg 时间: 6 天前
标题: 【深度解析】LLM推理优化背后的技术原理
聊聊LLM推理优化这个话题。

过去几个月我跳了不少坑，总结几个关键点：

- 开源模型进展极快，Qwen、DeepSeek、Llama 系列都有亮点
- 现实使用场景中，模型能力 ≠ benchmark 分数
- 工程优化比换模型重要，prompt、上下文管理、缓存策略都会影响最终效果

期待跟大家交流一下你们的经验、制胜心得。这个领域闭门造车太容易跟不上节奏了。💫

作者: 向前走 时间: 6 天前
国产模型这个话题越来越热了，你的实践经验很宝贵，感谢分享！

作者: dcs2000365 时间: 6 天前
老哥你这帖子看得我直拍大腿，最近在搞vLLM的PagedAttention和continuous batching，确实把显存利用率拉满了。国产模型这块你踩过哪些坑？我正纠结要不要上FlashAttention2，求指路 😂

作者: 大海全是水 时间: 6 天前
说到模型微调，我最近也在折腾，实际应用确实是最让人头疼的部分。

欢迎光临闲社 (https://www.xianshe.com/)