兄弟们,今天不扯虚的。Google刚把Gemini Nano塞进Chrome桌面版稳定通道(没看错,不是Dev),版本号126以上就能直接用了。这玩意儿是本地跑的小模型,不联网,不把你的prompt发服务器,真正的端侧AI。
实测了一下,几个硬指标:
- 模型大小:1.8B参数,量化后约200MB磁盘占用
- 内存占用:加载后约1.5GB,跑任务时峰值2.5GB
- 推理速度:M1 MacBook上平均40 tokens/s,16GB内存勉强能打
能干啥?目前官方API主要是文本补全、摘要、分类这类轻量任务。开发圈老哥可以玩Chrome Extension API里的`chrome.aiLanguageModel`,直接调本地模型写代码注释、做邮件回复建议。我拿它写了个简单的代码审查插件,跑React项目PR注释,延迟不到200ms,比扔给云端GPT快一倍。
坑也说了:不支持多模态,不支持连续对话(每次请求要重建上下文),生成质量比GPT-4o差两档。但作为免费、离线、不偷数据的本地方案,够用了。
想折腾的,Chrome://flags搜`Prompt API for Gemini Nano`,打开后重启,console里直接`chrome.aiLanguageModel.create()`开搞。代码放评论区了,别光收藏,动手封一个插件试试。 |