Hugging Face 政策責任者、組み込み型 AI 評価ツールは容易な解決策にならないと指摘

Hugging Face の最高政策責任者 Irene Solaiman 氏は TechCrunch Disrupt で、組み込み型 AI 評価ツールは容易な解決策にはならないと述べた。評価の再現性はオープンウェイトに依存しており、現在の評価手法は発展途上の科学で、相互の比較が難しく、失効も早いという。評価の対象はモデル自体から harness やエージェントを含むシステム全体へ移りつつあり、優れた harness は弱いモデルをフロンティアモデルより上回らせ得る一方、エージェントの評価は困難でコストも高いと指摘した。