Hugging Face Blog·· 3 時間前
Hugging Faceの研究:微調整ジョブがFLOPsの見積もりより遅い理由
Why your fine-tuning job takes longer than the FLOPs say
AI による要約
Hugging FaceがNVIDIA H200上で実施した272件の本番SFTジョブ(約7,382 GPU-hours)に基づく調査によると、従来のFLOP見積もりはR²=0.31、MAE 12.41時間にとどまったのに対し、ディスパッチ前の情報のみを使うCatBoost回帰器は5分割交差検証でR²=0.98、MAE 1.71時間、中央誤差0.51時間を達成した。
入選の記録
基準 60公式・一次情報1 回目 342 回目 38
入選せず二回の合計 72 < 基準の 2 倍 120
- 情報源の区分
- 公式・一次情報、この区分の基準は 60 点
- 予備審査
- 通過:微调任务耗时预测,属AI训练与开发工具
採点はモデルが同じ基準で独立に二回行い、満点は 100。二回の合計が基準の 2 倍に届いたものだけが入選します。基準は情報源の区分ごとに決めています。
情報源:Hugging Face Blog · huggingface.co