AWS Machine Learning Blog· Mijanur Palash·· 26 日前
Amazon SageMaker HyperPodでGPT-OSS-20Bを微調整し多言語推論を実現
Fine-tuning GPT-OSS-20B for multilingual reasoning on Amazon SageMaker HyperPod
AI による要約
GPT-OSS-20Bは50例の多言語推論テストで、目標言語で推論したのはわずか22%だった(英語100%、フランス語0%、ドイツ語10%、スペイン語0%、イタリア語0%)。チームはAmazon SageMaker HyperPod上でLoRAを用い、SFTとGRPOを組み合わせて微調整し、英語への偏りを是正した。結論として、SFTが主な役割を担い、GRPOは改善の余地がある場合にさらに最適化するもので、技術の選択は能力の差に合わせる必要がある。
入選の記録
基準 60公式・一次情報1 回目 342 回目 38
入選せず二回の合計 72 < 基準の 2 倍 120
- 情報源の区分
- 公式・一次情報、この区分の基準は 60 点
- 予備審査
- 通過:GPT-OSS-20B微调与GRPO训练技术详解
採点はモデルが同じ基準で独立に二回行い、満点は 100。二回の合計が基準の 2 倍に届いたものだけが入選します。基準は情報源の区分ごとに決めています。
情報源:AWS Machine Learning Blog · aws.amazon.com