Hume、音声AIの人間的品質を測るReal World VoiceEQを公開
Humeは音声評価ベンチマークReal World VoiceEQを公開した。40超の専有・オープンソース音声モデル、15以上の評価軸、60超の指標を扱い、ASR、TTS、S2S、音声理解を対象とする。
#評価・ベンチマーク
#評価・ベンチマーク
今日 0 件7月15日
7月6日
Import AI 464：FableのGPUカーネル、AI自動化、アナログ計算
Import AI 464はFableがKernelBench-Megaで、保守担当に初の真正かつ最速と呼ばれたmegakernelを作ったと報告した。RTX PRO 6000 BlackwellのCUDAで18.71倍高速化し、Claude Opus 4.8の14.4倍、GLM-5.2の11.14倍、GPT 5.5の4.34倍を上回った。
7月1日
ScarfBench、企業Javaのフレームワーク移行を評価するAIエージェント基準
Hugging FaceはSpring、Jakarta EE、Quarkus間の企業Javaアプリ移行を評価するScarfBench（Self-Contained Application Refactoring Benchmark）を公開した。
6月30日
Hugging Face モデルページに Every Eval Ever の評価結果
Every Eval Ever（EEE）と Hugging Face Community Evals は相互接続し、評価結果を双方に公開して完全な記録へリンクできる。EEE には31の報告形式から、22,000超のモデルと2,200基準にまたがる約229,000の結果がある。
6月15日
Import AI 461：Sequentの「アラインメントは軌道に乗っていない」、FrontierCode、合成研究実習生
英国AISIのアラインメントチームとTimaeusは非営利Sequentを共同設立した。超知能に備える研究は不十分とし、2～3年で常勤40～80人、初期調達1億～1億5000万ドルを計画する。
5月16日
WeatherNext、米国立ハリケーンセンターのMelissa上陸予測を支援
Google DeepMindとGoogle ResearchのAI気象モデルWeatherNextは、米国立ハリケーンセンターがハリケーンMelissaのジャマイカへのカテゴリー5での上陸を5日前に80%の確信度で予測するのを支援した。3日前には確信度がほぼ100%となった。
5月4日
Import AI 455：AIが自らを作り始める時期
Jack ClarkはImport AI 455で、人の参加なしに後継モデルを自律学習するAI研究開発が2028年末までに現れる確率を約60%、2027年を約30%と見積もった。
4月14日
Google、生成 AI で将来の技能を評価する Vantage を公開
Google は、高校生・大学生の問題解決や協働を生成 AI の模擬対話で評価する研究実験 Vantage を公開した。Google Labs で英語の登録を受け付ける。Executive LLM が会話を動的に進め、AI Evaluator が評価表で採点する。NYU との米国18～25歳188人の研究では、AI と専門家の採点一致度は専門家同士に近かった。
4月9日
Google Research、利用者シミュレーターの現実との差を測るConvApparelを公開
Google Researchは衣料品購入の4000以上の人・機械の複数ターン会話、約15000ターンのConvApparelを公開した。LLM利用者シミュレーターと人の現実感の差を測る。
4月3日
Google Research、LLMの行動傾向と人の共通認識の一致を評価
Google ResearchはIRI、ERQなどの心理質問票を改変した状況判断テスト（SJT）で、実際のユーザー・助手の場面の行動傾向が人の共通認識に合うか評価する枠組みを提案した。
4月1日
Google Research、AI 評価の注釈者は何人必要か
Google Research は『Forest vs Tree: The (N, K) Trade-off in Reproducible ML Evaluation』で評価項目数と項目ごとの注釈者数を比較した。一般的な1人、3人、5人では足りないことが多く、人の意見の違いを反映するには10人超が必要な場合が多い。
3月17日
Google、PNASで高温超伝導を使うLLM世界モデル評価を発表
GoogleとCornellはGPT-4o、Perplexity、Claude 3.5、Gemini Advanced Pro 1.5、NotebookLM、独自RAGに高温超伝導の専門問題67問を解かせた。12人の国際専門家がバランス、網羅性、簡潔性、証拠、画像の関連性、定性的意見の6指標で盲検評価した。研究はPNASに掲載された。
4月9日
Mistral、LLM as a JudgeでRAGを評価する方法
Mistralはjudge LLMがgenerator LLMの回答を数値、二値、定性的尺度で採点し、評価データの加重平均を取るRAG評価を提案した。