AWS宣布SageMaker AI Serverless Model Customization支持全量微调(FFT),可由服务管理算力配置。AWS以Qwen3-4B和11万条代码指令数据对比FFT与LoRA,报告FFT在大样本下部分指标更好,同时指出结果依赖任务与超参数 ...
|
AWS 于 11 月 18 日宣布,Amazon SageMaker AI Serverless Model Customization 现支持全量微调(FFT),用户无需自行配置 GPU、集群或分布式训练。AWS 在 Qwen3-4B 代码生成任务上,以 11 万条指令数据对比 FFT 与 LoRA:在 10 万条以上训练样本的特定评测中,FFT 的 LLM-as-Judge 语义正确率达到 90%。 结果并不代表 FFT 普遍优于 LoRA。AWS 同时报告,激进学习率会显著损害 MATH 与 MMLU 成绩;在部分主观评测中 LoRA 略胜 FFT。选择方案仍取决于任务、数据规模和超参数,且需要评估通用能力遗忘。该实验来自 AWS 给出的特定模型、数据集和评估设置。 |
0