Amazon SageMaker HyperPod Data Captureでモデル改善のフライホイールを構築

Amazon SageMaker HyperPodにData Capture機能が追加された。エンドポイント、ロードバランサー、モデルPodの3つの独立した階層でオンライン推論の入出力をAmazon S3に記録でき、モデルの可用性への影響はゼロだ。記事ではQwen2.5-3B-Instructを使った家電サポートのルーティングモデルを例に、Athenaでのクエリで新製品に対する盲点を発見し、SQLポリシーでラベル付けしてファインチューニングを実施、デプロイ後に新たに得たデータで前後の精度を比較している。