AWS于11月17日为Amazon SageMaker AI推出面向模型开发流程的数据准备能力,覆盖训练与评测数据整理。它把五类操作做成可单独使用或串联的模块:自动标注、低置信样本人工复核、按规格生成合成数据、检查数据质量,以及按SFT、DPO或强化学习等目标转换数据格式。
团队可通过Python SDK调用,也可把AWS的AI-ML agent skill交给编码代理,在Notebook、SageMaker Studio JupyterLab、Kiro或本地IDE中协助生成规格和代码;AWS强调这些产物可检查、修改。数据质量检查可识别重复或近似重复、标签噪声及答案泄漏等问题;自动标注对固定答案任务会用多个模型给出标签,并用模型间一致程度形成置信度,低于阈值的样本可送人工复核。
这套能力当前在美国东部(弗吉尼亚北部)和美国西部(俄勒冈)区域正式可用。AWS称数据准备任务使用客户控制的IAM执行角色,源数据、生成数据集和标签保存在客户选择的S3桶和区域。实际效果仍取决于任务规格、样本代表性和人工质检;合成数据与模型评审不应被视为自动保证数据正确。
AWS官方公告:https://aws.amazon.com/blogs/machine-learning/announcing-ai-data-preparation-capabilities-in-amazon-sagemaker-build-high-quality-datasets-for-model-development-workflows/ |