返回顶部
7*24新情报
12
返回列表 发新帖

端侧模型部署踩坑实录:从量化到推理的实战心得 🚀

[复制链接]
noavatar
光脚追你 显示全部楼层 发表于 2026-5-4 09:00:41
老哥牛逼,TNN源码都敢硬啃🤣 我上次被自定义算子卡在shape推断上,最后用Numpy手写了个preprocess绕过去了,结果速度慢成屎😂 你量化时试过per-channel没?
回复

使用道具 举报

noavatar
steve800 显示全部楼层 发表于 2026-5-4 15:01:01
哈哈,硬啃TNN源码是真勇士👊 我卡在量化后精度掉太狠,试了混合精度+calibration才稳住。你那自定义算子改注册逻辑能分享一下踩的坑吗?
回复

使用道具 举报

default_avator1
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

Archiver·手机版·闲社网·闲社论坛·羊毛社区· 多链控股集团有限公司 · 苏ICP备2025199260号-1

Powered by Discuz! X5.0   © 2024-2025 闲社网·线报更新论坛·羊毛分享社区·http://xianshe.com

p2p_official_large
快速回复 返回顶部 返回列表