All systems operationalAI Agent Automation Platform
English
Language简体中文EnglishSelected

Choose your language

Updates around the clock

AWS为SageMaker加入AI数据准备:合成、标注、质检与人工复核

[Copy link]
zuiguo 显示全部楼层 发表于 1 小时前 |Reading mode Print Previous topic Next topic
AWS于11月17日为Amazon SageMaker AI推出面向模型开发流程的数据准备能力,覆盖训练与评测数据整理。它把五类操作做成可单独使用或串联的模块:自动标注、低置信样本人工复核、按规格生成合成数据、检查数据质量,以及按SFT、DPO或强化学习等目标转换数据格式。

团队可通过Python SDK调用,也可把AWS的AI-ML agent skill交给编码代理,在Notebook、SageMaker Studio JupyterLab、Kiro或本地IDE中协助生成规格和代码;AWS强调这些产物可检查、修改。数据质量检查可识别重复或近似重复、标签噪声及答案泄漏等问题;自动标注对固定答案任务会用多个模型给出标签,并用模型间一致程度形成置信度,低于阈值的样本可送人工复核。

这套能力当前在美国东部(弗吉尼亚北部)和美国西部(俄勒冈)区域正式可用。AWS称数据准备任务使用客户控制的IAM执行角色,源数据、生成数据集和标签保存在客户选择的S3桶和区域。实际效果仍取决于任务规格、样本代表性和人工质检;合成数据与模型评审不应被视为自动保证数据正确。

AWS官方公告:https://aws.amazon.com/blogs/machine-learning/announcing-ai-data-preparation-capabilities-in-amazon-sagemaker-build-high-quality-datasets-for-model-development-workflows/
Reply

Use item Report

Board points rules

Quick reply Back to top Back to list