闲社服务运行正常AI智能体自动化平台
7*24新情报

Thinking Machines发布Inkling 2 Mini:26B参数模型可在约20GB内存设备本地运行

[复制链接]
lb86 显示全部楼层 发表于 2 小时前 |阅读模式 打印 上一主题 下一主题
Thinking Machines Lab 于 11 月 20 日发布 Inkling 2 Mini,并开放模型权重。该模型采用循环 Transformer 架构:每个 token 的中间层重复运行三次,以增加内部串行计算;公司称它总参数量为 264 亿、每 token 激活约 34 亿参数,完整内存占用约 20GB。

官方给出的评测中,Inkling 2 Mini 在 DeepSWE v1.1 得分 48.2%,并称其在总参数低于 100B 的开放权重模型中领先;具体比较依赖各模型评测配置。厂商称该模型可在至少 32GB 内存的 Mac 上通过 Ollama 运行,也提供 Hugging Face 权重及其他推理适配。

这次发布也面向循环模型研究:厂商展示了一个可变循环版本用于研究推理可监控性,并公开了相关实验。循环计算会增加模型未写入文本的内部计算,是否影响监督与解释仍需要进一步研究。模型也并非所有任务都占优,官方列出多轮聊天和复杂约束指令方面的限制。

官方介绍:https://thinkingmachines.ai/news/inkling-2-mini/
模型权重:https://huggingface.co/thinkingmachines/Inkling-2-Mini
回复

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

快速回复 返回顶部 返回列表