AWS Machine Learning Blog· Siddharth Senger·· 4 日前
Amazon SageMaker HyperPodでサイレントデータ破損を検出・復旧
Detecting and recovering from silent data corruption on Amazon SageMaker HyperPod
AI による要約
Amazon SageMaker HyperPodは、PyTorch DDPの学習ループに3つのチェックを追加することでサイレントデータ破損（SDC）を検出する。非有限勾配チェックでNaN/Infを捕捉し、リングリプレイ監査で別ノードが再計算したlossと勾配のフィンガープリントを照合し、重みフィンガープリントの照合でオプティマイザのステップや保存された重みに生じた破損を発見する。
入選の記録
基準 60公式・一次情報1 回目 582 回目 34
入選せず二回の合計 92 < 基準の 2 倍 120
- 情報源の区分
- 公式・一次情報、この区分の基準は 60 点
- 予備審査
- 通過：SageMaker分布式训练静默数据损坏检测教程
採点はモデルが同じ基準で独立に二回行い、満点は 100。二回の合計が基準の 2 倍に届いたものだけが入選します。基準は情報源の区分ごとに決めています。
情報源：AWS Machine Learning Blog · aws.amazon.com