本文へ移動

データと学習

学習側の知見:データセットの構築、合成データ、事前学習と事後学習の手法、計算資源と学習コスト。

最新の精選

1–20 件目 · 全 61 件

11月15日

日曜日
  1. 黄仁勋氏のNVIDIA退任後、アジア各国政府がチップ供給と調査の進展に反応

    黄仁勋氏のNVIDIA退任を受け、アジア各国政府が相次いで反応した。韓国科学技術情報通信部は、NVIDIAが韓国向けに先進GPU 26万基を供給すると改めて表明し、AI共同プロジェクトを継続すると述べたほか、政府のAI戦略委員会は影響を評価するため緊急会合を開いた。中国外交部は関連するスパイ疑惑を否定し、ロイター通信によると、NVIDIAの制限対象プロセッサに依存する30億ドル超の中国AI計算プロジェクトが不確実性に直面している。シンガポール当局はMegaspeedと他6人について調査を開始し、台湾と日本の当局者は注視していくと述べた。

11月14日

土曜日
  1. DeepSeekやKimiなど中国のオープンソースモデル、Blackwellチップで訓練か 研究

    非営利研究機関Unemployment LabsのWill DePue氏がDeepSeek、Moonshot AI、MiniMax、Ant Groupのオープンソースモデルの重みを分析したところ、Kimi K3やDeepSeek V4などのモデルにBlackwellチップで訓練した痕跡が見つかった。同チップは中国への輸出が禁止されている。

11月13日

金曜日
  1. ジェンセン・フアン辞任騒動:中国は彼から何を得ようとしているのか

    The VergeのポッドキャストDecoderが、中国のスパイとされる女性との関係をめぐりNVIDIAのCEOジェンセン・フアンが辞任した事件を討論。司会のニレイ・パテルがブルッキングス研究所ジョン・L・ソーントン中国センターの研究員カイル・チャンと対談する。

11月11日

水曜日
  1. Google DeepMind、細胞種別にDNA変異の影響を予測するAlphaGenome 2を発表

    Google DeepMindは、特定の細胞種や状態に応じて変異が遺伝子発現に与える影響を予測する条件付きDNA配列モデルAlphaGenome 2を発表した。68組織・1億700万以上の単一細胞アトラスで訓練され、TenK10Kデータセットで同定された因果変異の割合は16%から30%に、方向性のある遺伝子効果は23%から43%に向上した。

11月6日

金曜日
  1. Thinking Machines、Inkling 2 Smallを公開:総パラメータ594B・アクティブ17B、68時間で事前学習

    Thinking Machinesは、総パラメータ594B・アクティブ17BのマルチモーダルMoEモデル「Inkling 2 Small」を公開した。テキストと画像の入力に対応し、1Mのコンテキストウィンドウを持つ。Tinkerで提供を開始しており、Apache 2.0の重みは来週の外部安全テスト完了後に公開される予定だ。

11月5日

木曜日
  1. GPT-6 Astra、重みを直接書き換えて他のAIモデルを改変

    研究チームはWeight-Space Programmingを提案し、GPT-6 Astraがニューラルネットワークの生の重みを直接読み取り、生成できるようにした。段階的な数学的最適化による訓練は不要となる。Astraは重みだけでネットワークが学習した4つのゲームと訓練言語を識別し、3つの単純なゲームについてはゼロから重みを書き出した。うちBreakoutでは平均スコア517点を記録し、標準的な訓練ベースラインの25点と対照的だった。

11月4日

水曜日

10月28日

水曜日

10月23日

金曜日

10月22日

木曜日
  1. NVIDIA、AIファクトリー向けエンドツーエンド可観測性を実現するMinervaを発表

    NVIDIAはAIOpsプラットフォーム「Minerva」を発表した。インフラとAIワークロードのテレメトリデータを集約し、専用AIモデルでデータを実行可能な洞察に変換する。GPU、SuperNIC、スイッチ、ストレージ、スケジューラ、ジョブをまたぐ動的ナレッジグラフを構築し、毎時数十億のデータポイントを分析。大量のアラートを根本原因付きの単一イベントに集約できる。

  2. NVIDIA、学習不要で予測できる関係型基盤モデル「Kumo Relational」を発表

    NVIDIAは事前学習済みの関係型基盤モデル「Kumo Relational」を発表した。企業データベース上で解約、需要、不正などの予測を直接行え、1回のフォワードパスで完了する。タスク固有の学習や特徴量エンジニアリング、テーブルのフラット化は不要だ。

10月21日

水曜日

10月20日

火曜日
  1. Hugging Face、TorchNeuronを公開 AWS Trainiumでのモデル実行を簡素化

    Hugging Faceは、AWS Trainium上でPyTorchを動かすためのネイティブバックエンドTorchNeuronを発表した。Transformers、Diffusers、Kernelsがネイティブにサポートし、10月20日から公開ベータとして提供を開始する。pip install torch-neuronxでインストールできる。

10月17日

土曜日
  1. Google Research、AIエージェントがウェットラボ実験を閉ループで駆動するVERIDフレームワークを提案

    Google Researchは研究ブログを公開し、AIエージェントがウェットラボ実験を閉ループで進めるための3つの進展を紹介した。VERIDフレームワークは実験台の意味的デジタルツインを構築し、リアルタイムの3D状態追跡、仮想予行演習、ハードウェア安全チェック、映像による動作ログの同期を可能にする。

10月15日

木曜日
  1. Mistral、時系列基盤モデルTimestralを公開 209Mパラメータで三大ベンチマーク首位

    Mistralは初の時系列基盤モデルシリーズTimestralを公開した。5M、28M、123M、209Mの4サイズを用意し、最大モデルは209MパラメータでGIFT-Eval、TIME、fev-benchの3つの公開ベンチマークで首位。パラメータ数は前世代SOTAの3分の2にとどまる。