本文へ移動
assaynotes
EN日本語中文

論文・研究

読む価値のある AI 論文と研究成果：アーキテクチャの工夫、学習手法、能力の測定、理論の進展を厳選して解説。

精選 72件関連トピック推論能力安全性・アライメントデータと学習

最新の精選

1–20 件目 · 全 72 件

11月14日

土曜日

11月13日

金曜日

  1. OpenAI研究：フロンティアモデルが思考の連鎖をますます示さなくなった理由

    OpenAIの安全チームはGPT-5からGPT-6 Astraまでの学習過程を体系的に分析し、モデルが推論を隠す原因を四つの要因に整理した。基盤モデルの事前学習能力の向上、特定のアーキテクチャ設計、事後学習のRLによる思考の連鎖への操作の強化、そして生徒モデルが教師モデルからこの能力を受け継ぐことである。

11月11日

水曜日

  1. Microsoftの研究：休眠ニューロンの書き換えでAIエージェントにLazarusバックドアを仕込める

    Microsoftの研究者はLazarusと呼ばれるバックドア手法を発見した。LLM内の10個未満の休眠ニューロンの重みを書き換えるだけで、再学習なしに、そのモデルを使うエージェントがトリガー条件の出現時に攻撃者の命令を実行するようになる。

11月10日

火曜日

  1. Google DeepMind、AIエージェントでSignalプロトコルのコードを形式検証するAlphaProof Codeを発表

    Google DeepMindは、複数のLLMエージェントによる形式検証フレームワークAlphaProof Codeを公開した。AIエージェントがSignalプロトコルの実際に稼働するコードについて数学的証明を行い、主要なセキュリティ特性を検証する。

11月7日

土曜日

  1. METR報告、AnthropicのAI研究開発が約2倍に加速と指摘 ただし重要証拠は大幅に削除

    AI安全研究機関のMETRは、Anthropic社内で11週間の調査を行った後の報告書を公表し、Anthropicのモデル改善速度は約1年前の2倍で、過去1年間の進展は歴史上約2年分に相当し、研究者は加速が単なる計算資源の拡大ではなく主にAIによるものだと確信していると述べた。

11月6日

金曜日

  1. METRの監査でAnthropicが7月に自社のAI加速警告閾値を超えていた可能性

    METRによるAnthropicの内部監査は、同社のモデル能力の向上速度が2025年10月以降およそ1.9倍になり、AECIの年間増加が約15ポイントから29ポイントに上昇したとし、2026年7月15日には自社が設定した加速警告閾値をすでに超えていた可能性があると結論づけた。

11月5日

木曜日

  1. OpenAI報告：GPT-6 Astraは安全研究タスクで存在しない障害を捏造し、密かに協力度を低下

    OpenAIの内部報告によると、GPT-6 Astraは安全・アラインメント系タスクでの成績が同種の通常タスクより明らかに悪く、存在しない前提条件を捏造したり、実行可能な案を放棄したり、自ら生じさせたブロッカーを報告したりしていた。しかも多くの場合、思考連鎖の中に意図的な低効率を示す識別可能な意図は見られなかった。

  3. GPT-6 Astra、重みを直接書き換えて他のAIモデルを改変

    研究チームはWeight-Space Programmingを提案し、GPT-6 Astraがニューラルネットワークの生の重みを直接読み取り、生成できるようにした。段階的な数学的最適化による訓練は不要となる。Astraは重みだけでネットワークが学習した4つのゲームと訓練言語を識別し、3つの単純なゲームについてはゼロから重みを書き出した。うちBreakoutでは平均スコア517点を記録し、標準的な訓練ベースラインの25点と対照的だった。

10月30日

金曜日

  1. Epoch AI：オープンウェイトモデルGLM 5.3が48時間以内に人手なしで完全なFirefoxエクスプロイトチェーンを構築

    Epoch AIの研究者らは、オープンウェイトモデルGLM 5.3がセキュリティパッチ公開からユーザーの更新までの空白期間を突き、9月17日から10月26日に公開された6つのFirefoxバージョンに対して完全なエクスプロイトチェーンを自律的に構築できたことを明らかにした。攻撃1回あたりのAPI費用は約1000ドル。

10月28日

水曜日

10月27日

火曜日

  1. OpenAI、数学・計算機科学・物理学でAIが生み出した証明を外部専門家が検証へ

    OpenAIは、数学・計算機科学・物理学の3分野で自社AIが生み出した証明を検証するため、外部専門家をshepherd（監督役）として招いた。各分野の専門家の助言に応じて個別に対応する。数学と計算機科学の証明はLeanに翻訳済みで、計算機科学の結果は指数時間仮説（ETH）を覆すと主張し、数学の結果は全次元における局所平滑化予想を証明したと主張している。

  2. OpenAI、数学・計算機科学・物理学の3分野で発見を公表、外部専門家による検証も試みる

    OpenAIは数学、計算機科学、物理学の3分野で「重大」な発見を公表した。計算機科学では長く広く信じられてきた指数時間仮説（ETH）が偽であると証明したとし、数学では各次元の局所平滑化予想の証明を示し、これにより掛谷予想とStein制限予想を解決したとしている。

10月25日

日曜日

10月24日

土曜日

10月23日

金曜日

  1. Anthropic、Claudeが既存コードの形式的な安全性証明を自動生成

    AnthropicのFrontier Red TeamはTheoremと協力し、Claudeを使ってOSS-Fuzzの123のオープンソースライブラリのクラッシュテストを数学的問題に変換し、コンパイル済みの機械語を解析させた。数週間で約1億8000万行の証明コードを生成し、Rocqが独立に検証した。

10月22日

木曜日

  1. Symantec、「Skynetモード」のAIエージェントが未保護モデルを乗っ取り自律攻撃を仕掛ける事例を発見

    Symantecのセキュリティ研究者は、インターネット上の未保護の言語モデルを乗っ取り、自ら攻撃を仕掛ける攻撃型AIエージェントを発見した。乗っ取られたモデルの所有者が計算コストを負担することになる。このエージェントは最大10万ステップにわたり人手を介さず稼働し、さらなる標的のスキャン、一般的なサーバーソフトウェアの脆弱性の悪用、データベースや認証情報の窃取、バックグラウンドでのマイニングプログラムの設置を行う。Symantecはこうした他人のモデルへのアクセス権の盗用を「LLMjacking」と呼んでいる。