Berkeley AI Research、LLM の重要な相互作用を大規模に特定する SPEX と ProxySPEX
Berkeley AI Research は、特徴、データ、モデル部品への寄与分析で LLM 出力を左右する相互作用を大規模に特定する SPEX と ProxySPEX を提案した。SPEX は疎性と低次数を使い探索を疎な復元問題へ変え、ProxySPEX は階層構造も使い、約10分の1のアブレーションで SPEX と同等性能を得る。
Berkeley AI Research は、特徴、データ、モデル部品への寄与分析で LLM 出力を左右する相互作用を大規模に特定する SPEX と ProxySPEX を提案した。SPEX は疎性と低次数を使い探索を疎な復元問題へ変え、ProxySPEX は階層構造も使い、約10分の1のアブレーションで SPEX と同等性能を得る。
Google ResearchはGeminiで世界のニュースから過去の災害の構造化データを抽出するGroundsourceを公開した。最初のオープンデータは都市の鉄砲水260万件を収め、150か国以上、2000年から現在までを対象とする。
Google ResearchとBeth Israel Deaconess Medical Centerは、単一施設で前向きの実現可能性研究を実施した。外来のプライマリケア受診前にAMIEが患者とテキストで問診し、医師が動画でリアルタイムに監督した。
Berkeley AI Researchは相互情報量で画像システムを評価・最適化する枠組みを提案した。雑音付き測定と雑音モデルだけで情報量を測る。NeurIPS 2025でカラー写真、電波天文、レンズなし撮像、顕微鏡の復号器性能を予測した。設計は最先端の全工程学習に匹敵し、メモリーと計算量が少なく、課題別の復号器設計を要しない。
Berkeley AI ResearchはTD学習に依存しない分割統治のオフポリシー強化学習を提案した。Bellman再帰の回数を線形から対数へ減らし、長い期間のタスクへ拡張する。
Berkeley の AI 研究チームは word2vec の学習過程を定量予測する初の理論を提案した。現実の訓練条件で非加重最小二乗の行列分解に帰着でき、勾配流の閉形式解があり、最終表現は目標行列 M* の PCA に等しい。小さな初期値では直交線形部分空間を離散段階ごとに学び、埋め込みのランクを上げ損失を減らす。その特徴は M* の上位固有ベクトルで、コーパス統計とハイパーパラメーターから事前計算できる。