本文へ移動
assaynotes
EN日本語中文

#評価・ベンチマーク

今日 0 件

10月21日

水曜日

10月20日

火曜日

  2. Hugging Face 政策責任者、組み込み型 AI 評価ツールは容易な解決策にならないと指摘

    Hugging Face の最高政策責任者 Irene Solaiman 氏は TechCrunch Disrupt で、組み込み型 AI 評価ツールは容易な解決策にはならないと述べた。評価の再現性はオープンウェイトに依存しており、現在の評価手法は発展途上の科学で、相互の比較が難しく、失効も早いという。評価の対象はモデル自体から harness やエージェントを含むシステム全体へ移りつつあり、優れた harness は弱いモデルをフロンティアモデルより上回らせ得る一方、エージェントの評価は困難でコストも高いと指摘した。

10月18日

日曜日

10月17日

土曜日

  1. Amazon Bedrock AgentCore で AI エージェントの本番向け評価フレームワークを構築

    AWS のセールス・マーケティング・グローバルサービス（SMGS）運用チームは、Amazon Bedrock AgentCore Evaluations を基盤に、グローバル現場営業向けマルチエージェントシステムの評価フレームワークを構築した。各リリース前および本番環境で、回答が根拠に基づき正確かどうかを継続的に検証し、失敗の根本原因を追跡する。

10月16日

金曜日

10月15日

木曜日

10月14日

水曜日

10月12日

月曜日

  1. AIエージェントのチームは大量のトークンを消費するが品質はほとんど向上しないとの研究結果

    評価会社Vals AIがVibe Code BenchでGPT-6 SolとClaude Opus 5.5をテストした。単一エージェントとチームの両形式で、mediumとmaximumの2段階の推論強度で実行したところ、チームのコストは単一エージェントの1.8倍から5.1倍だった。

10月9日

金曜日

  1. AIランキングのArena、2億ドルのシリーズB調達で評価額31億ドルに

    AIモデルのクラウドソーシング型ランキングArenaが2億ドルのシリーズBラウンドを評価額31億ドルで完了した。Lightspeed Venture PartnersとKhosla Venturesが主導し、Salesforce Ventures、01 Advisors、Dell Technologies Capital、Endeavor Catalyst、a16z、Felicisなどが参加した。

10月8日

木曜日

  1. TII、1.6Bパラメータのアラビア語音声認識モデル「Falcon-ASR」を公開、アラブ首長国連邦方言に注力

    アブダビの技術革新研究所（TII）は、1.6Bパラメータの音声認識モデル「Falcon-ASR」を発表した。アラビア語を主軸にアラブ首長国連邦方言に注力し、英語、フランス語、スペイン語、ポルトガル語にも対応する。

10月7日

水曜日

  1. Mistral Large 4

    Simon Willison は同一のプロンプトで Mistral Large 4 などのフロンティアモデルの SVG 生成能力を試した。プロンプトは「火星で網タイツを穿いたアルマジロが乱横断する」というもの。比較に参加したモデルは claude-opus-5.5、gpt-6.1-sol、gemini-3.8-flash、mistral/mistral-large-4 で、いずれも各モデルのデフォルト推論レベルを使用した。

  2. Microsoft の研究者 Jennifer Neville 氏、AI 評価がモデルの「予期せぬ失敗」をどう浮き彫りにするかを語る

    Microsoft の Jennifer Neville 氏が Microsoft Research Podcast で、AI システムの性能の限界を押し広げる上で評価が果たす役割と、従来のベンチマークを超えてテストした際に現れる「予期せぬ失敗」について議論した。数学、物理、認知科学から計算機科学に至る自身の経歴を踏まえ、現在の AI システムを使う上での実践的な助言を共有し、結果が予想を超えたときにはデータを注意深く検証することの重要性を強調している。

10月6日

火曜日

  1. Qwen3.8 27B、英単語で足し算を行うベンチマーク

    推論を無効化した5,070件のケースを用いたベンチマークで、ローカルのQwen3.8-27B-Q4_K_M.ggufモデルが正の整数の足し算を英単語だけで行い、正確な結果を出力できるかを検証した。数値の正確率は23.57%、形式遵守率は96.17%。正確率は桁数が増えるにつれ、1〜3桁の97.04%から10〜13桁の6.44%へと低下した。中程度の推論を有効にすると、169件のペアテストで167件正解した。

  3. GitHub、AIコードレビュー向けのオープンベンチマーク「ReviewBench」を公開

    GitHubは、AIコードレビューエージェント向けのオープンなオフラインベンチマーク「ReviewBench」を公開した。1億390万件のGitHub pull requestの分布に基づいて構築され、187のオープンソースリポジトリ、19言語にわたる219件のpull requestを含む。

10月3日

土曜日

  2. AI エージェントが写真から 3D シーンを生成、ただし正誤の判断はできない

    研究チームは Image-to-Code 手法を提案し、コーディングエージェントが 1 枚の写真から実行可能な Blender プログラムを書き、シーンが元画像と一致するまで反復修正する。評価のためチームは LEGO-Bench を構築し、屋内・屋外 104 シーンの 208 枚の画像と 443 の登録アセットを含み、有効性・幾何精度・外観類似度の 3 点で採点する。

10月2日

金曜日

  1. Mercor の研究：AI は記帳タスクで資格を持つ会計士より速く正確だが、依然として単独で決算を締められず

    Mercor の研究では、平均実務経験 5 年半の公認会計士 12 名が APEX Accounting Benchmark の簡略化タスクを実施。その結果、AI モデルは構造化された記帳タスクで会計士より速く、正確で、コストも低いことが示された。

10月1日

木曜日

  1. Google、Gemini 4 Argonを発表　OpenAIとAnthropicとの差を縮めるも明確なリードはならず

    Googleは新たなフロンティアモデルGemini 4 Argonを発表した。一部のベンチマークではOpenAIやAnthropicの競合製品を上回るが、明確なリードは得ていない。このモデルはまずFairwindプログラムの「信頼できるサイバー防御者」とGoogle社内チームに公開され、その後開発者、企業、消費者向けに提供される予定で、日付は未公表。導入価格は入力トークン100万あたり2ドル、出力トークン100万あたり10ドルで、キャッシュ入力は95%安い。

9月30日

水曜日

  1. Hugging Face、多言語 TTS と音声クローンの拡張可能な評価基盤 Open TTS Leaderboard を公開

    Hugging Face は、客観的指標でオープンソース TTS モデルを評価する Open TTS Leaderboard を公開し、数週間の投票による評価を数時間に短縮する。Qwen3 ASR で WER/CER を算出し、H200 GPU で RTFx と TTFA を測定、WavLM 埋め込みで話者類似度 SIM を求め、多言語と音声クローンの比較に対応する。

9月29日

火曜日

9月23日

水曜日

9月22日

火曜日

9月2日

水曜日

  1. Hugging Face、LLMベンチマークが何を測るか監査するBenchMIRTを公開

    Hugging Faceは多次元項目反応理論（MIRT）で個別プロンプト単位のベンチマークを監査するBenchMIRTを公開した。安全性と汎用推論の2主要次元を分離する。100モデル、16ベンチマーク、34K超の設問で学習し、評価対象を教えずとも安定して2次元を再現した。BBQやWMDPなどの安全性の得点は汎用推論との関係が強く、単一得点が複数の信号を混ぜる可能性を示す。

8月28日

金曜日

8月27日

木曜日

  1. Google DeepMind、世界初の二重盲検AI評価を試行

    Google DeepMindは、専有のフロンティア級AIモデルを対象とする世界初の二重盲検評価を発表した。外部評価を暗号技術で隔離した環境に限定し、モデルが事前に試験問題へ接触することを防ぐ。シンガポールのAI安全研究所、OpenMined、AVERI、MLCommonsと協力し、プライバシーを保護した環境で非公開ベンチマークを使いGemini Flash Liteを評価する。

8月24日

月曜日

  1. Import AI 470：機械に権利は不要、SPADE の訓練環境生成、Hawkeye の GPU カーネル

    METR の研究では、AI の科学的発見への影響は一様でない。2026年の脆弱性報告は2025年より大幅に速く、数学はわずかな加速にとどまり、AI 研究自体のアルゴリズム進歩には有意な加速がない。複数大学のチームは LLM が実行可能な訓練環境の生成と解法を交互に行う SPADE を提案した。Qwen3-30B-A3B のゲーム環境平均点は58.3で、基準より8.1上がった。

8月21日

金曜日

  1. Hugging Face 研究、音声認識のベンチマーク最適化をどう測るか

    Hugging Face は、音声認識のベンチマーク最適化を数値化するため、合意不一致プローブ、マスクした固有表現の検索、綴りの切り替えという三つのテストを提案した。11のオープンソース ASR モデルを評価し、一部の高得点モデルは音声が矛盾する場合、該当語が無音の場合、両方の表記が音声上成立する場合でも、VoxPopuli や LibriSpeech の正解転写の誤りを再現することを見つけた。

8月17日

月曜日

8月13日

木曜日

  1. MindTopo、Microsoft Research がマルチモーダル大規模モデルの位相推論を評価

    Microsoft Research は、接続、閉鎖、順序、分離、結び目の五つの位相関係の推論・計画を評価する MindTopo を公開した。現モデルは静止画認識が対話的計画より明らかに強く、失敗は知覚より計画で起こり、全体に人間を大幅に下回る。画像・動画生成は単一フレームで構造関係を保つ場合のみ有用で、複数操作後は位相を変えたり制約を破ったりしやすい。

8月12日

水曜日

  1. Google Research、大型モデルの事実の難点は記憶より想起と報告

    Google ResearchはWikipedia事実2150件のWikiProfileで13モデルを評価した。Gemini-3-ProとGPT-5は95～98%を記憶していたが26～34%を直接想起できず、思考ありでも11～12%失敗した。最先端モデルの誤りは知識不足よりアクセス不足によるとし、難点が知識獲得から活用へ移ると指摘する。

8月4日

火曜日

  1. Microsoft Research、Orchardをオープンソース化、Orchard-SWEがSWE-bench Verifiedで69.7%

    Microsoft ResearchはオープンソースのOrchardフレームワークを公開した。中心はKubernetes環境サービスOrchard Envで、タスク間で環境、データパイプライン、評価手順を再利用し、Codex、OpenClaw、ZeroClawなどの実際の配置フレームワーク内で直接エージェントを学習できる。

7月27日

月曜日

7月16日

木曜日

  1. DharmaOCR、ブラジル Portuguese OCR 評価で Mistral OCR4 と Unlimited-OCR を上回る

    DharmaOCR は Portuguese OCR 評価で0.925を記録し、Mistral OCR4 の0.798と Unlimited-OCR の0.7587を上回った。Portuguese コーパスで教師あり微調整を行い、次に DPO で推論の安定性を高める二段階訓練で特化した。筆者は、新構造が続々現れても単一言語にパラメーターを集中する戦略には構造的利点があるとする。