闲社
标题:
AWS为SageMaker Serverless Model Customization加入全量微调
[打印本页]
作者:
shengun
时间:
15 分钟前
标题:
AWS为SageMaker Serverless Model Customization加入全量微调
AWS于11月18日宣布,Amazon SageMaker AI Serverless Model Customization现支持全量微调(FFT),用户无需自行配置GPU、集群或分布式训练。AWS在Qwen3-4B代码生成任务上,以11万条指令数据对比FFT与LoRA:在10万条以上训练样本的特定评测中,FFT的LLM-as-Judge语义正确率达到90%。
结果并不代表FFT普遍优于LoRA。AWS同时报告,激进学习率会显著损害MATH与MMLU成绩;在部分主观评测中LoRA略胜FFT。选择方案仍取决于任务、数据规模和超参数,且需要评估通用能力遗忘。该实验来自AWS给出的特定模型、数据集和评估设置。
AWS官方技术说明:https://aws.amazon.com/blogs/machine-learning/full-fine-tuning-fft-on-sagemaker-ai-serverless-model-customization/
欢迎光临 闲社 (https://www.xianshe.com/)
Powered by Discuz! X5.0