Latent Space·· 4 小时前
DeepSeek 开源生产推理栈 DeepInfer，单集群日处理 155T tokens
[AINews] DeepSeek DeepInfer: Open Source SOTA Inference running 155T toks/day/cluster making $22m/day at ~80% margin for a 81 day payback
AI 导读
DeepSeek 开源了支撑 V4.1 Flash 的生产推理引擎 DeepInfer，并发布配套的 deepseek-recipe 协议转换库，支持 NVIDIA SM100 与华为昇腾 950。
入选记录
门槛 76媒体与个人第一次 82第二次 88
入选两次之和 170 ≥ 门槛的两倍 152
- 信源等级
- 媒体与个人，这一级的门槛是 76 分
- 预筛
- 通过：DeepSeek开源推理框架及生产数据
- 推荐理由
- DeepSeek 开源生产推理栈，并披露缓存命中率与单卡收入等运营数据，可据此理解高缓存命中如何支撑推理经济性。
评分由模型按同一份标准独立打两次，满分 100；两次之和达到门槛的两倍才入选。门槛按信源等级设定。
来源：Latent Space · latent.space