本文へ移動
assaynotes
EN日本語中文

#データ・学習

今日 2 件

4月30日

木曜日

4月22日

水曜日

4月16日

木曜日

4月1日

水曜日

3月25日

水曜日

3月18日

水曜日

  1. Mistral AI、企業の独自知識で最先端モデルを訓練する Forge を公開

    Mistral AI は独自知識に基づく最先端級 AI モデル構築システム Forge を公開した。事前訓練、事後訓練、強化学習に対応し、dense と MoE の構造を扱う。必要に応じてマルチモーダル入力にも対応し、企業内の基盤でモデルの訓練とガバナンスを行える。

3月17日

火曜日

3月13日

金曜日

  1. Berkeley AI Research、LLM の重要な相互作用を大規模に特定する SPEX と ProxySPEX

    Berkeley AI Research は、特徴、データ、モデル部品への寄与分析で LLM 出力を左右する相互作用を大規模に特定する SPEX と ProxySPEX を提案した。SPEX は疎性と低次数を使い探索を疎な復元問題へ変え、ProxySPEX は階層構造も使い、約10分の1のアブレーションで SPEX と同等性能を得る。

3月12日

木曜日

3月7日

土曜日

1月10日

土曜日

  1. Berkeley、情報駆動の画像システム設計で4分野の性能を予測

    Berkeley AI Researchは相互情報量で画像システムを評価・最適化する枠組みを提案した。雑音付き測定と雑音モデルだけで情報量を測る。NeurIPS 2025でカラー写真、電波天文、レンズなし撮像、顕微鏡の復号器性能を予測した。設計は最先端の全工程学習に匹敵し、メモリーと計算量が少なく、課題別の復号器設計を要しない。

9月1日

月曜日

  1. word2vec は何を学ぶか、Berkeley が定量予測できる学習理論

    Berkeley の AI 研究チームは word2vec の学習過程を定量予測する初の理論を提案した。現実の訓練条件で非加重最小二乗の行列分解に帰着でき、勾配流の閉形式解があり、最終表現は目標行列 M* の PCA に等しい。小さな初期値では直交線形部分空間を離散段階ごとに学び、埋め込みのランクを上げ損失を減らす。その特徴は M* の上位固有ベクトルで、コーパス統計とハイパーパラメーターから事前計算できる。

8月1日

金曜日

  1. Mistral、Pixtral-12Bの微調整で衛星画像の視覚言語性能を改善

    MistralはLoRAでPixtral-12Bを微調整し、Aerial Image Dataset（AID）の衛星画像分類で未調整の基準を大きく上回り、幻覚による無効な分類名を減らした。Mistralの微調整APIかLaPlateforme UIを使い、大規模なハイパーパラメーター調整は不要だ。学習8000、テスト2000に分割した。

7月23日

水曜日