Hugging Face Blog·· 6 日前
Hugging Face、二階手法でMoEのエキスパートを剪定するHOPEを提案
Your Experts Have Partners. There's HOPE for Keeping Them Together
AI による要約
Hugging Faceは、エキスパート同士の相互作用を考慮する二階のMoEエキスパート剪定手法HOPE（Higher-Order Pruning of Experts）を提案した。50%の剪定率でHOPEは全手法中最高の平均順位を記録し、エージェント型コーディングタスクでは次善の剪定手法より最大+6.1%向上した。
入選の記録
基準 60公式・一次情報1 回目 382 回目 34
入選せず二回の合計 72 < 基準の 2 倍 120
- 情報源の区分
- 公式・一次情報、この区分の基準は 60 点
- 予備審査
- 通過：MoE专家剪枝方法与实验，属AI模型技术
採点はモデルが同じ基準で独立に二回行い、満点は 100。二回の合計が基準の 2 倍に届いたものだけが入選します。基準は情報源の区分ごとに決めています。
情報源：Hugging Face Blog · huggingface.co