本文へ移動
原文
Latent Space·· 4 時間前

DeepSeek、本番推論スタック「DeepInfer」をオープンソース化 単一クラスタで1日155Tトークン処理

[AINews] DeepSeek DeepInfer: Open Source SOTA Inference running 155T toks/day/cluster making $22m/day at ~80% margin for a 81 day payback

AI による要約

DeepSeekは、V4.1 Flashを支える本番推論エンジン「DeepInfer」をオープンソース化し、対応するプロトコル変換ライブラリ「deepseek-recipe」を公開した。NVIDIA SM100とHuawei Ascend 950に対応する。

入選の記録

入選二回の合計 170 ≥ 基準の 2 倍 152

情報源の区分
メディアと個人、この区分の基準は 76 点
予備審査
通過:DeepSeek开源推理框架及生产数据
推薦理由
本番推論スタックのオープンソース化に加え、キャッシュヒット率やカード当たり収益などの運用データを開示しており、高いキャッシュヒット率が推論の経済性をどう支えるかがわかる。

採点はモデルが同じ基準で独立に二回行い、満点は 100。二回の合計が基準の 2 倍に届いたものだけが入選します。基準は情報源の区分ごとに決めています。

情報源:Latent Space · latent.space