Latent Space· swyx .ai·· 12 時間前
Thinking Machines、Inkling 2 Smallを公開：総パラメータ594B・アクティブ17B、68時間で事前学習
[AINews] Inkling 2 Small: 17A-594B trained in 68 hours on 12T tokens, beating Muse Spark
AI による要約
Thinking Machinesは、総パラメータ594B・アクティブ17BのマルチモーダルMoEモデル「Inkling 2 Small」を公開した。テキストと画像の入力に対応し、1Mのコンテキストウィンドウを持つ。Tinkerで提供を開始しており、Apache 2.0の重みは来週の外部安全テスト完了後に公開される予定だ。
入選の記録
基準 76メディアと個人1 回目 782 回目 78
入選二回の合計 156 ≥ 基準の 2 倍 152
- 情報源の区分
- メディアと個人、この区分の基準は 76 点
- 予備審査
- 通過：发布Inkling 2 Small大模型及训练评测细节
- 推薦理由
- Inkling 2 Smallの学習時間、アクティブパラメータ、複数の第三者評価がまとまっており、同サイズのモデルとの差を照らし合わせられる。
- 同じ出来事
採点はモデルが同じ基準で独立に二回行い、満点は 100。二回の合計が基準の 2 倍に届いたものだけが入選します。基準は情報源の区分ごとに決めています。
情報源：Latent Space · latent.space