|
AWS 在 11 月 11 日介绍并开源 Universal Agent Evaluation Framework（UAEF），试图解决一个实际问题：LangGraph、LangChain、Strands 等框架记录运行轨迹的格式各不相同，评测逻辑往往也跟着框架绑定，换框架或比较不同版本时就难以横向对照。
UAEF 通过适配器把消息、工具调用和多智能体交接记录归一成统一的 AgentTrace，再按需选取 36 项内置指标、覆盖 7 个维度进行评分，包括工具调用、回答质量、Responsible AI、性能、多轮对话、多智能体协作和推理。框架还可在存储前检查个人身份信息；实验结果可保存到 DynamoDB 与 S3，用于比较版本、查看回归并形成报告。AWS称，电信、医疗和金融服务领域的 12 家组织已用它评估智能体。
值得关注的是，它把“先统一运行轨迹，再复用评测指标和版本比较”作为设计主线。对已经跨多个智能体框架的团队，这可能减少重复搭建评测管线的成本；但具体指标是否适合某个业务，仍需结合数据集、基线和人工审查来验证。文章还说明，框架以 Apache 2.0 开源，提供 Python 库、部署式界面和示例 Notebook。
来源：AWS 官方技术文章（2026-11-11）
https://aws.amazon.com/blogs/machine-learning/uaef-a-framework-agnostic-system-for-closed-loop-evaluation-of-ai-agents/ |
0