本文へ移動
原文
AWS Machine Learning Blog· Mijanur Palash·· 26 日前

Amazon SageMaker HyperPodでGPT-OSS-20Bを微調整し多言語推論を実現

Fine-tuning GPT-OSS-20B for multilingual reasoning on Amazon SageMaker HyperPod

AI による要約

GPT-OSS-20Bは50例の多言語推論テストで、目標言語で推論したのはわずか22%だった(英語100%、フランス語0%、ドイツ語10%、スペイン語0%、イタリア語0%)。チームはAmazon SageMaker HyperPod上でLoRAを用い、SFTとGRPOを組み合わせて微調整し、英語への偏りを是正した。結論として、SFTが主な役割を担い、GRPOは改善の余地がある場合にさらに最適化するもので、技術の選択は能力の差に合わせる必要がある。

入選の記録

入選せず二回の合計 72 < 基準の 2 倍 120

情報源の区分
公式・一次情報、この区分の基準は 60 点
予備審査
通過:GPT-OSS-20B微调与GRPO训练技术详解

採点はモデルが同じ基準で独立に二回行い、満点は 100。二回の合計が基準の 2 倍に届いたものだけが入選します。基準は情報源の区分ごとに決めています。

情報源:AWS Machine Learning Blog · aws.amazon.com