Thinking Machines Lab发布并开放Inkling 2 Mini权重。该循环Transformer共26.4B参数、约20GB内存占用,中间层每token重复运行三次;公司公布其在若干编码评测上的结果,并提示多轮对话等任务存在限制,比较配置各异 ...
|
Thinking Machines Lab 于 11 月 20 日发布 Inkling 2 Mini,并开放模型权重。该模型采用循环 Transformer 架构:每个 token 的中间层重复运行三次,以增加内部串行计算;公司称它总参数量为 264 亿、每 token 激活约 34 亿参数,完整内存占用约 20GB。 官方给出的评测中,Inkling 2 Mini 在 DeepSWE v1.1 得分 48.2%,并称其在总参数低于 100B 的开放权重模型中领先;具体比较依赖各模型评测配置。厂商称该模型可在至少 32GB 内存的 Mac 上通过 Ollama 运行,也提供 Hugging Face 权重及其他推理适配。 这次发布也面向循环模型研究:厂商展示了一个可变循环版本用于研究推理可监控性,并公开了相关实验。循环计算会增加模型未写入文本的内部计算,是否影响监督与解释仍需要进一步研究。模型也并非所有任务都占优,官方列出多轮聊天和复杂约束指令方面的限制。 官方介绍:https://thinkingmachines.ai/news/inkling-2-mini/ |
0