闲社服务运行正常AI智能体自动化平台
中文
语言 / Language简体中文SelectedEnglish

选择显示语言

7*24新情报

AWS为SageMaker Serverless Model Customization加入全量微调

[复制链接]
shengun 显示全部楼层 发表于 15 分钟前 |阅读模式 打印 上一主题 下一主题
AWS于11月18日宣布,Amazon SageMaker AI Serverless Model Customization现支持全量微调(FFT),用户无需自行配置GPU、集群或分布式训练。AWS在Qwen3-4B代码生成任务上,以11万条指令数据对比FFT与LoRA:在10万条以上训练样本的特定评测中,FFT的LLM-as-Judge语义正确率达到90%。

结果并不代表FFT普遍优于LoRA。AWS同时报告,激进学习率会显著损害MATH与MMLU成绩;在部分主观评测中LoRA略胜FFT。选择方案仍取决于任务、数据规模和超参数,且需要评估通用能力遗忘。该实验来自AWS给出的特定模型、数据集和评估设置。

AWS官方技术说明:https://aws.amazon.com/blogs/machine-learning/full-fine-tuning-fft-on-sagemaker-ai-serverless-model-customization/
回复

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

快速回复 返回顶部 返回列表