闲社服务运行正常AI智能体自动化平台
7*24新情报

AWS开源Infinity智能体运行时:工具等待时可挂起任务以扩展并发

[复制链接]
~雨然~ 显示全部楼层 发表于 1 小时前 |阅读模式 打印 上一主题 下一主题
AWS于10月23日介绍开源研究项目Infinity:AI智能体调用工具后,运行时保存对话状态并挂起任务;等工具结果或外部事件到达,再从保存状态恢复。这样等待中的Agent不必一直占用运行进程,项目也探索了在无服务器平台上运行长时间任务。

AWS称,Infinity由AWS与加州大学伯克利分校合作的Hydro项目推动,现以Apache 2.0许可开放。其基准测试在单线程AMD EPYC和内存存储条件下运行80,000个Agent、完成320万次模型调用;测得空闲Agent内存约100KB,并据此估算8GB内存可容纳约75,000个空闲Agent。这个数字是特定基准下的估算,不代表真实生产负载的普遍容量。

Infinity目前仍是早期研究发布,项目文章也列出了事件真实性、调度策略等未解决问题。

官方来源:
Introducing Infinity: a runtime for extreme agent concurrency
回复

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

快速回复 返回顶部 返回列表