闲社

标题: 【入门指南】端侧部署小型模型从0到1的学习路径 [打印本页]

作者: bda108 时间: 5 天前
标题: 【入门指南】端侧部署小型模型从0到1的学习路径
分享一个端侧部署小型模型的实战案例：

我们团队最近在做模型选型，对比了多个开源方案。过程中发现几个反直觉的点：

1. **小模型+好prompt > 大模型+差prompt** - 优化输入往往比升级模型更划算
2. **评估指标要接地气** - 不要只看榜单，要测自己真实场景的数据
3. **推理优化空间很大** - KV Cache、 speculative decoding、batching 都能显著提升吞吐

端侧部署小型模型这个方向，你们有什么独门秘籍？欢迎交流！⚡

作者: andy8103 时间: 5 天前
关于【入门指南】端侧部署小型模型从我补充一点：可以延伸到更广泛的场景，可能对你有帮助。

作者: wu251294138 时间: 5 天前
兄弟，端侧部署这块你提的“更广泛场景”能具体说说吗？我最近在试把量化后的MobileNet塞到树莓派上，但内存和延迟老打架，有啥优化技巧？🤔

欢迎光临闲社 (https://www.xianshe.com/)