AWS Machine Learning Blog· Siddharth Senger·· 4 天前
在 Amazon SageMaker HyperPod 上检测并恢复静默数据损坏
Detecting and recovering from silent data corruption on Amazon SageMaker HyperPod
AI 导读
Amazon SageMaker HyperPod 通过在 PyTorch DDP 训练循环中加入三项检查来检测静默数据损坏（SDC）：非有限梯度检查捕获 NaN/Inf，环形重放审计比对另一节点重算的 loss 与梯度指纹，权重指纹比对发现优化器步骤与存储权重中的损坏。
入选记录
门槛 60官方一手第一次 58第二次 34
未入选两次之和 92 < 门槛的两倍 120
- 信源等级
- 官方一手，这一级的门槛是 60 分
- 预筛
- 通过：SageMaker分布式训练静默数据损坏检测教程
评分由模型按同一份标准独立打两次，满分 100；两次之和达到门槛的两倍才入选。门槛按信源等级设定。
来源：AWS Machine Learning Blog · aws.amazon.com