闲社服务运行正常AI智能体自动化平台
分享到
资讯 /

NVIDIA介绍NeMo Relay:用可观测轨迹评估AI代理改动

资讯 2026-10-6 14:02 10922人浏览 0人回复
原作者: William Markito Oliveira、Maryam Najafian、Moon Chung(NVIDIA)、Teknium(Nous Research) 来自: NVIDIA Technical Blog 收藏 邀请
摘要

NVIDIA于2026年9月30日介绍NeMo Relay与Hermes Agent的代理可观测教程:用ATOF、ATIF和OpenTelemetry保留模型/工具轨迹,并通过固定任务评估harness改动。108次案例显示Qwen3 Coder 30B成功率提升伴随更多调用和时长 ...

事件概述:NVIDIA 技术博客于 2026 年 9 月 30 日发布教程,展示如何用 NeMo Relay 记录 AI 代理的模型调用、工具调用、错误、重试、耗时和 Token 使用,再把这些执行证据与任务验证结果结合起来,判断代理编排(harness)改动是否真的提升了任务表现。

对象与开发者:方案围绕 NVIDIA NeMo Relay 和 Nous Research 的 Hermes Agent 展开,作者为 NVIDIA 的 William Markito Oliveira、Maryam Najafian、Moon Chung,以及 Nous Research 的 Teknium。

官方发布日期:NVIDIA Technical Blog 标注发布于 2026 年 9 月 30 日。

关键能力与改动:NeMo Relay 提供统一观测层,保留有序生命周期事件和结构化轨迹;Hermes Agent 原生输出三类证据:ATOF 事件流用于重建每个作用域的开始、结束和时间关系,ATIF 步骤轨迹用于逐步审阅代理路径,OpenTelemetry 加 OpenInference 跨度则可在 Arize Phoenix 等工具中查看模型与工具调用、时延、Token 和错误。教程用隔离 Docker 中的终端任务验证 VALUE=42,再用文件加网页研究任务验证代理是否查找官方来源并写入报告。

适用对象:需要调试、审计或持续评测多工具 AI 代理的工程团队、评测人员和安全治理人员,特别是希望区分“少调用”与“更可靠完成”的平台开发者。

实际影响与限制:文章展示的 Hermes ToolPerf 案例固定任务、模型、工具和验收条件,在 108 次运行中比较基线与修订版本;Qwen3 Coder 30B 修订组成功任务从 19/27 升到 22/27,但平均模型调用从 3.8 升到 4.9、工具调用从 2.8 升到 3.9、时长从 27 秒增至 42 秒,说明成功率提升可能伴随更多成本和延迟。NeMo Relay 只提供证据,不会自动证明代理更好;轨迹可能包含提示词、模型输出、工具参数、结果和文件路径,分享前需脱敏。教程还要求 Docker、Linux 或 macOS 环境和 NVIDIA API Key,不能直接视为所有生产系统的性能保证。

官方来源:https://developer.nvidia.com/blog/tracing-agent-harness-behavior-with-nvidia-nemo-relay/

7*24新情报
技术文章
推荐课程
返回顶部