本文へ移動

AWS、SageMaker HyperPodのサイレントデータ破損検出を紹介

まずはこの出来事を

AI によるまとめ

2026年11月12日、AWS Machine Learning BlogはAmazon SageMaker HyperPod上でサイレントデータ破損(SDC)を検出・復旧する方法を紹介した。この方法はPyTorch DDPの学習ループに3つのチェックを追加する。非有限勾配チェックでNaN/Infを捕捉し、リングリプレイ監査では別ノードが再計算したlossと勾配フィンガープリントを照合して異常を発見する。重みフィンガープリントの照合は、オプティマイザのステップと保存された重みにおける破損の発見に用いられる。記事ではこの方法の適用範囲、効果のデータ、復旧手順の詳細には触れていない。

報道をもとに AI が作成 · 3 日前に更新

報道の時系列

報道をたどり、出来事のさまざまな面を知る。

11月12日
  1. AWS Machine Learning Blog
    Amazon SageMaker HyperPodでサイレントデータ破損を検出・復旧

    Amazon SageMaker HyperPodは、PyTorch DDPの学習ループに3つのチェックを追加することでサイレントデータ破損(SDC)を検出する。非有限勾配チェックでNaN/Infを捕捉し、リングリプレイ監査で別ノードが再計算したlossと勾配のフィンガープリントを照合し、重みフィンガープリントの照合でオプティマイザのステップや保存された重みに生じた破損を発見する。

この出来事の注目度の推移

現在の注目度 3·比較範囲のピーク 5(11月13日 06:00)·過去 24 時間の比較範囲での変化 -51%

024611月13日06:0011月13日14:0011月13日23:0011月14日07:00

推移は、途切れずに観測できた同じ主体どうしだけで比べるため、現在の注目度の集計より範囲が狭いことがあります。ポインタを動かすかグラフをクリックすると 1 時間ごとの注目度が見られます。キーボードでは左右の矢印キーで切り替えられます。