本文へ移動

#評価・ベンチマーク

今日 0 件

11月3日

火曜日

10月20日

火曜日
  1. Hugging Face 政策責任者、組み込み型 AI 評価ツールは容易な解決策にならないと指摘

    Hugging Face の最高政策責任者 Irene Solaiman 氏は TechCrunch Disrupt で、組み込み型 AI 評価ツールは容易な解決策にはならないと述べた。評価の再現性はオープンウェイトに依存しており、現在の評価手法は発展途上の科学で、相互の比較が難しく、失効も早いという。評価の対象はモデル自体から harness やエージェントを含むシステム全体へ移りつつあり、優れた harness は弱いモデルをフロンティアモデルより上回らせ得る一方、エージェントの評価は困難でコストも高いと指摘した。

10月7日

水曜日
  1. Microsoft の研究者 Jennifer Neville 氏、AI 評価がモデルの「予期せぬ失敗」をどう浮き彫りにするかを語る

    Microsoft の Jennifer Neville 氏が Microsoft Research Podcast で、AI システムの性能の限界を押し広げる上で評価が果たす役割と、従来のベンチマークを超えてテストした際に現れる「予期せぬ失敗」について議論した。数学、物理、認知科学から計算機科学に至る自身の経歴を踏まえ、現在の AI システムを使う上での実践的な助言を共有し、結果が予想を超えたときにはデータを注意深く検証することの重要性を強調している。

7月6日

月曜日

5月4日

月曜日