Hugging Face Blog·· 3 小时前
Dharma-AI 如何通过词表专用化将 SLM 推理成本降低 77%
How Specializing the Vocabulary of SLMs Can Cut Inference Cost by 77% in Real Applications
AI 导读
Dharma-AI 在 Hugging Face 博客中介绍即将发布的 VocabX 论文,用按 token 成本而非频率重建词表的方法,在基于 Qwen3-4B 的葡萄牙语作文评分器上把实测推理成本降低 77.0%,平均响应从 350 个 token 降到 101 个,bench 分数从 0.703 升到 0.810。
入选记录
门槛 60官方一手第一次 62第二次 58
入选两次之和 120 ≥ 门槛的两倍 120
- 信源等级
- 官方一手,这一级的门槛是 60 分
- 预筛
- 通过:专讲SLM词表优化降推理成本
- 推荐理由
- 原文给出了词表按成本而非频率重建的方法与实测数据,读者可据此判断小模型专用化的降本空间。
评分由模型按同一份标准独立打两次,满分 100;两次之和达到门槛的两倍才入选。门槛按信源等级设定。
来源:Hugging Face Blog · huggingface.co