Amazon SageMaker AI で知識蒸留による効率的なエージェントを構築

AWS は、系列レベルの知識蒸留（SeqKD）を用いて Amazon SageMaker AI 上でショッピングエージェントをファインチューニングする方法を紹介した。フロンティアの教師モデルが多段階のツール呼び出し軌跡を生成し、タスクを解けるサンプルのみを残して、教師ありファインチューニングで小規模モデルを訓練する。SeqKD は教師モデルのテキスト出力のみを必要とし、logits や強化学習の基盤を要しないため、API のみを提供するクローズドソースの教師モデルにも適用でき、軌跡データを異なる生徒モデルの訓練とテストに再利用できる。