AWS为Amazon SageMaker AI推出训练与评测数据准备模块,涵盖自动标注、低置信样本人工复核、合成数据生成、数据质量检查和格式转换,可通过Python SDK或AI-ML agent skill使用。当前仅美国东部(弗吉尼亚北部)与美 ...
|
AWS 于 11 月 17 日为 Amazon SageMaker AI 推出面向模型开发流程的数据准备能力,覆盖训练与评测数据整理。它把五类操作做成可单独使用或串联的模块:自动标注、低置信样本人工复核、按规格生成合成数据、检查数据质量,以及按 SFT、DPO 或强化学习等目标转换数据格式。 团队可通过 Python SDK 调用,也可把 AWS 的 AI-ML agent skill 交给编码代理,在 Notebook、SageMaker Studio JupyterLab、Kiro 或本地 IDE 中协助生成规格和代码;AWS 强调这些产物可检查、修改。数据质量检查可识别重复或近似重复、标签噪声及答案泄漏等问题;自动标注对固定答案任务会用多个模型给出标签,并用模型间一致程度形成置信度,低于阈值的样本可送人工复核。 这套能力当前在美国东部(弗吉尼亚北部)和美国西部(俄勒冈)区域正式可用。AWS 称数据准备任务使用客户控制的 IAM 执行角色,源数据、生成数据集和标签保存在客户选择的 S3 桶和区域。实际效果仍取决于任务规格、样本代表性和人工质检;合成数据与模型评审不应被视为自动保证数据正确。 |
0