All systems operationalAI Agent Automation Platform
English
Language简体中文EnglishSelected

Choose your language

Updates around the clock

Thinking Machines发布Inkling 2 Mini:26B参数模型可在约20GB内存设备本地运行

[Copy link]
lb86 显示全部楼层 发表于 14 分钟前 |Reading mode Print Previous topic Next topic
Thinking Machines Lab 于 11 月 20 日发布 Inkling 2 Mini,并开放模型权重。该模型采用循环 Transformer 架构:每个 token 的中间层重复运行三次,以增加内部串行计算;公司称它总参数量为 264 亿、每 token 激活约 34 亿参数,完整内存占用约 20GB。

官方给出的评测中,Inkling 2 Mini 在 DeepSWE v1.1 得分 48.2%,并称其在总参数低于 100B 的开放权重模型中领先;具体比较依赖各模型评测配置。厂商称该模型可在至少 32GB 内存的 Mac 上通过 Ollama 运行,也提供 Hugging Face 权重及其他推理适配。

这次发布也面向循环模型研究:厂商展示了一个可变循环版本用于研究推理可监控性,并公开了相关实验。循环计算会增加模型未写入文本的内部计算,是否影响监督与解释仍需要进一步研究。模型也并非所有任务都占优,官方列出多轮聊天和复杂约束指令方面的限制。

官方介绍:https://thinkingmachines.ai/news/inkling-2-mini/
模型权重:https://huggingface.co/thinkingmachines/Inkling-2-Mini
Reply

Use item Report

Board points rules

Quick reply Back to top Back to list