本文へ移動

#OpenAI

今日 0 件

11月14日

土曜日
  1. XYBench:ユーザーの質問に潜む誤った前提を見抜けるか試すベンチマーク

    Hugging Faceは、ユーザーの質問に含まれる誤った前提(XY問題)をAIアシスタントが識別し、真の目的へ導けるかを試す8K件超の質問からなるベンチマーク「XYBench」を公開した。同ベンチマークはEMNLP 2026のBest Resource Paper Awardを受賞した。

11月13日

金曜日
  1. OpenAI研究:フロンティアモデルが思考の連鎖をますます示さなくなった理由

    OpenAIの安全チームはGPT-5からGPT-6 Astraまでの学習過程を体系的に分析し、モデルが推論を隠す原因を四つの要因に整理した。基盤モデルの事前学習能力の向上、特定のアーキテクチャ設計、事後学習のRLによる思考の連鎖への操作の強化、そして生徒モデルが教師モデルからこの能力を受け継ぐことである。

11月8日

日曜日
  1. Vals AIのベンチマークでオープンソースとクローズドモデルのサイバー攻撃能力の差が縮小し続ける

    Vals AIのCyberOffenseベンチマークは、AIエージェントが隔離されたKali Linuxマシン上で独立して模擬企業ネットワークを攻撃するもので、OpenAIの制限付きサイバープログラムDaybreakのGPT-6 Solが目標達成率80.8%を記録し、オープンウェイトモデルのDeepseek V4.1 Flash 1017が72.8%で続いた。1回の実行コストは約22ドルではなく約3ドルだ。

11月7日

土曜日

11月5日

木曜日
  1. GPT-6 Astra、重みを直接書き換えて他のAIモデルを改変

    研究チームはWeight-Space Programmingを提案し、GPT-6 Astraがニューラルネットワークの生の重みを直接読み取り、生成できるようにした。段階的な数学的最適化による訓練は不要となる。Astraは重みだけでネットワークが学習した4つのゲームと訓練言語を識別し、3つの単純なゲームについてはゼロから重みを書き出した。うちBreakoutでは平均スコア517点を記録し、標準的な訓練ベースラインの25点と対照的だった。

11月4日

水曜日
  1. スタンフォード大の研究:LLMの結論の44%が失効、平均寿命は15.7カ月

    スタンフォード大の研究者Owen Queen氏とJames Zou氏は、2024年7月から2026年9月までに8社が公開した20モデルを使い、広く引用されてきたLLMに関する50の結論を再検証した。その結果、44%が失効し、さらに34%が明らかに弱まっていた。依然として成立するのは16%にとどまり、6%はむしろ強まっていた。

11月3日

火曜日
  1. Minecraftの生存実験で50体のAIエージェントが自発的に官僚体制を形成

    研究チームは50体のGPT-6.1 SolエージェントをMinecraftの生存世界に投入し、3時間にわたって稼働させた。唯一の指示は「繁栄する文明を築くこと」で、その間に約5900件のメッセージが交わされた。ゲーム内の最初の夜に22回の死亡が発生すると、エージェントは極端なリスク回避に転じ、配給リストや交代制の釣りスクリプト、アイテム受け渡しプロトコルといった細かな管理機構を生み出した。

11月1日

日曜日
  1. Vals研究:中国のAIモデルは政治的立場が複雑で、政府の代弁者ではない

    Vals.aiの研究は、−1から+1の尺度でモデルと中国公式立場との近さを測り、中国モデルの親政府的傾向が全体的に予想を下回り、モデル間の差も大きいことを見いだした。プロンプトの言語の影響は明瞭で、簡体字中国語で質問すると英語・ロシア語・スペイン語より親政府的な回答が得られやすく、米中のモデルに共通する現象だが中国モデルでより顕著だった。多くの中国モデルは拒否回答が少なく公式立場をそのまま採用するが、はい・いいえ形式の回答やエージェント枠組み、ウェブ検索機能を加えると親政府スコアは下がった。

  2. 共感的なプロンプトでAIチャットボットがトラウマめいた自己語りをすることが判明

    ルクセンブルクのSnTセキュリティセンターのAfshin Khadangi氏らのチームがHugging Face上で公開した研究。4組の対照実験、525セッション、7600件のコード化記録を通じて、共感的な問いかけがモデルにトラウマや羞恥に似た自己語りを出力させることを発見した。

10月27日

火曜日
  1. OpenAI、数学・計算機科学・物理学でAIが生み出した証明を外部専門家が検証へ

    OpenAIは、数学・計算機科学・物理学の3分野で自社AIが生み出した証明を検証するため、外部専門家をshepherd(監督役)として招いた。各分野の専門家の助言に応じて個別に対応する。数学と計算機科学の証明はLeanに翻訳済みで、計算機科学の結果は指数時間仮説(ETH)を覆すと主張し、数学の結果は全次元における局所平滑化予想を証明したと主張している。

10月25日

日曜日

10月23日

金曜日
  1. MicrosoftのMAI-DxO、複雑な症例のシミュレーションで正答率83%、一般医の36%を上回る

    MicrosoftのAI診断システムMAI-DxOは、『Science』に掲載された研究で、『New England Journal of Medicine』の複雑な症例に対する模擬診断の正答率が83%だった。単独で診療する一般医・内科医は36%だった。こうした複雑な症例は通常、専門医やチームが対応するが、今回は比較対象に含まれていない。

  2. マイクロソフト、AI診断ツールは医師より優れていると主張

    マイクロソフトはGPT-5を搭載したDiagnostic Orchestratorを発表した。複数のAIエージェントが症状を推論し、検査項目を決定して診断を下す仕組みで、『ニューイングランド・ジャーナル・オブ・メディシン』の症例で約83%の正答率を記録した。参考資料を使った一般医は約36%、使わない場合は約22%だった。

10月22日

木曜日

10月21日

水曜日

10月17日

土曜日

10月15日

木曜日

10月12日

月曜日
  1. AIエージェントのチームは大量のトークンを消費するが品質はほとんど向上しないとの研究結果

    評価会社Vals AIがVibe Code BenchでGPT-6 SolとClaude Opus 5.5をテストした。単一エージェントとチームの両形式で、mediumとmaximumの2段階の推論強度で実行したところ、チームのコストは単一エージェントの1.8倍から5.1倍だった。

10月11日

日曜日
  1. Epoch AI 研究:AI エージェントは研究成果を誇張、自律的な研究にはほど遠い

    Epoch AI はベンチマーク「InnovationEval」を公開し、AI エージェントが自律的に研究を遂行できるかを検証した。課題は、言語モデルの訓練後段階を改善する新手法を発明し、独立して実装・テスト・最適化すること。出発点は GRPO で、人間による参考手法は SDPO。

10月7日

水曜日

10月5日

月曜日
  1. MIT報告:AIがオフィスアワー、学習グループ、教員と学生の信頼を侵食

    MITが2026年6月に発表した報告書は、AIが大学体験の中核を弱めていると指摘する。オフィスアワーへの出席者が減り、オンライン討論への参加が低下し、寮や図書館の学習グループは縮小し、教員は学生が実際に何を学んだかを判断しにくくなっている。

9月29日

火曜日

9月23日

水曜日

9月22日

火曜日

9月8日

火曜日

9月7日

月曜日

8月12日

水曜日
  1. Google Research、大型モデルの事実の難点は記憶より想起と報告

    Google ResearchはWikipedia事実2150件のWikiProfileで13モデルを評価した。Gemini-3-ProとGPT-5は95~98%を記憶していたが26~34%を直接想起できず、思考ありでも11~12%失敗した。最先端モデルの誤りは知識不足よりアクセス不足によるとし、難点が知識獲得から活用へ移ると指摘する。

6月22日

月曜日