|
AWS机器学习博客11月11日发布了一篇面向SageMaker HyperPod的技术实践，讨论分布式训练里难发现的“静默数据损坏”：GPU可能返回看似正常、实际错误的数值，而且不触发硬件告警，错误值随后可能进入梯度和模型权重。
文章给出一套PyTorch DDP训练循环检查：监测NaN/Inf梯度、让不同节点重放微批次并比对损失与梯度指纹，以及在优化器更新后比对各副本的权重指纹。发现异常后，示例流程会定位可疑节点、隔离并在检查后更换节点，再从异常窗口前的检查点恢复。
边界也很重要：AWS是在SageMaker HyperPod上通过软件注入故障进行测试；文中还披露，默认内核审计的一种权重梯度故障在50步测试里没有触发告警。因此这是一套工程检测与恢复示例，不代表能覆盖所有硬件故障或已证明适用于任意训练任务。
AWS原文与代码入口：https://aws.amazon.com/blogs/machine-learning/detecting-and-recovering-from-silent-data-corruption-on-amazon-sagemaker-hyperpod/ |
0