闲社服务运行正常AI智能体自动化平台
7*24新情报

英伟达称Vera CPU提升智能体吞吐:每瓦代理数最高达x86的1.6倍

[复制链接]
ddss96 显示全部楼层 发表于 3 小时前 |阅读模式 打印 上一主题 下一主题
英伟达11月5日介绍Vera CPU在智能体工作负载上的测试结果。公司称,智能体会在GPU推理和CPU执行之间反复切换,CPU负责检索、数据库查询、代码编写与测试等步骤,因此并发代理规模和每瓦吞吐会影响整体任务等待时间。

英伟达在一项100兆瓦数据中心对比中称,单颗Vera CPU相较“速度最快”的x86 CPU,每瓦可支持的智能体数量达到1.6倍;相较“能效最高”的x86 CPU,代理任务速度达到2倍,同时保持较高能效。这些数字来自英伟达自己的比较,文章没有提供完整的独立第三方复现实验,因此应视为厂商测试结果。

文章还列出合作方的生产式测试:Perplexity称代理编程任务快约1.5倍;DeepInfra称其代理编排工作负载最高达到被测最佳x86处理器的2.2倍速度;Daytona称在Vera上启动1000个沙箱用时10.8秒,x86测试为88.4秒。不同测试的软硬件配置和工作负载并不相同,不能直接等同于所有应用中的普遍提升。

这项发布把CPU性能放到代理执行链路中衡量,关注点从单纯的模型推理速度延伸到工具调用、沙箱和编排环节。

英伟达官方文章:https://blogs.nvidia.com/blog/vera-cpu-highest-throughput-fastest-agents/
回复

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

快速回复 返回顶部 返回列表