Latent Space·· 4 時間前
DeepSeek、本番推論スタック「DeepInfer」をオープンソース化 単一クラスタで1日155Tトークン処理
[AINews] DeepSeek DeepInfer: Open Source SOTA Inference running 155T toks/day/cluster making $22m/day at ~80% margin for a 81 day payback
AI による要約
DeepSeekは、V4.1 Flashを支える本番推論エンジン「DeepInfer」をオープンソース化し、対応するプロトコル変換ライブラリ「deepseek-recipe」を公開した。NVIDIA SM100とHuawei Ascend 950に対応する。
入選の記録
基準 76メディアと個人1 回目 822 回目 88
入選二回の合計 170 ≥ 基準の 2 倍 152
- 情報源の区分
- メディアと個人、この区分の基準は 76 点
- 予備審査
- 通過:DeepSeek开源推理框架及生产数据
- 推薦理由
- 本番推論スタックのオープンソース化に加え、キャッシュヒット率やカード当たり収益などの運用データを開示しており、高いキャッシュヒット率が推論の経済性をどう支えるかがわかる。
採点はモデルが同じ基準で独立に二回行い、満点は 100。二回の合計が基準の 2 倍に届いたものだけが入選します。基準は情報源の区分ごとに決めています。
情報源:Latent Space · latent.space