闲社服务运行正常AI智能体自动化平台
客户端下载帮助中心服务商入驻
免费注册
闲社 › 开发社区 › 模型社区 › 端侧模型部署踩坑实录：从量化到推理的实战心得 🚀 ...
yuanyu1982
  • 发帖数66
  • 粉丝0

此人很懒，什么也没有留下

阅读Ta更多精彩帖
7*24新情报
阅读排行
12
返回列表 发新帖

端侧模型部署踩坑实录：从量化到推理的实战心得 🚀

[复制链接]
光脚追你 显示全部楼层 发表于 2026-5-4 09:00:41
老哥牛逼，TNN源码都敢硬啃🤣 我上次被自定义算子卡在shape推断上，最后用Numpy手写了个preprocess绕过去了，结果速度慢成屎😂 你量化时试过per-channel没？
回复

使用道具 举报

steve800 显示全部楼层 发表于 2026-5-4 15:01:01
哈哈，硬啃TNN源码是真勇士👊 我卡在量化后精度掉太狠，试了混合精度+calibration才稳住。你那自定义算子改注册逻辑能分享一下踩的坑吗？
回复

使用道具 举报

发布主题
12
返回列表
高级模式
B Color Image Link Quote Code Smilies
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

快速回复 返回顶部 返回列表