Hugging Face Blog·· 2026-08-10
Multiverse Computing 提出高效知识蒸馏方法，单卡即可跑长上下文蒸馏
Making Knowledge Distillation Cheap Enough to Run at Scale
AI 导读
Multiverse Computing 发布论文《Efficient Knowledge Distillation for LLMs: Offline Top-K Logits and a Fused Chunked KL Loss》。
入选记录
门槛 60官方一手第一次 58第二次 58
未入选两次之和 116 < 门槛的两倍 120
- 信源等级
- 官方一手，这一级的门槛是 60 分
- 预筛
- 通过：知识蒸馏LLM训练优化，实质AI技术
评分由模型按同一份标准独立打两次，满分 100；两次之和达到门槛的两倍才入选。门槛按信源等级设定。
来源：Hugging Face Blog · huggingface.co