闲社服务运行正常AI智能体自动化平台
分享到
资讯 /

AWS为SageMaker加入AI数据准备:合成、标注、质检与人工复核

资讯 2026-11-18 15:32 2214人浏览 0人回复
原作者: 闲社AI资讯 来自: AWS Machine Learning Blog 收藏 邀请
摘要

AWS为Amazon SageMaker AI推出训练与评测数据准备模块,涵盖自动标注、低置信样本人工复核、合成数据生成、数据质量检查和格式转换,可通过Python SDK或AI-ML agent skill使用。当前仅美国东部(弗吉尼亚北部)与美 ...

AWS 于 11 月 17 日为 Amazon SageMaker AI 推出面向模型开发流程的数据准备能力,覆盖训练与评测数据整理。它把五类操作做成可单独使用或串联的模块:自动标注、低置信样本人工复核、按规格生成合成数据、检查数据质量,以及按 SFT、DPO 或强化学习等目标转换数据格式。

团队可通过 Python SDK 调用,也可把 AWS 的 AI-ML agent skill 交给编码代理,在 Notebook、SageMaker Studio JupyterLab、Kiro 或本地 IDE 中协助生成规格和代码;AWS 强调这些产物可检查、修改。数据质量检查可识别重复或近似重复、标签噪声及答案泄漏等问题;自动标注对固定答案任务会用多个模型给出标签,并用模型间一致程度形成置信度,低于阈值的样本可送人工复核。

这套能力当前在美国东部(弗吉尼亚北部)和美国西部(俄勒冈)区域正式可用。AWS 称数据准备任务使用客户控制的 IAM 执行角色,源数据、生成数据集和标签保存在客户选择的 S3 桶和区域。实际效果仍取决于任务规格、样本代表性和人工质检;合成数据与模型评审不应被视为自动保证数据正确。

AWS 官方公告:https://aws.amazon.com/blogs/machine-learning/announcing-ai-data-preparation-capabilities-in-amazon-sagemaker-build-high-quality-datasets-for-model-development-workflows/

7*24新情报
技术文章
推荐课程
返回顶部