跳到正文
原文
Hugging Face Blog·· 3 小时前

Dharma-AI 如何通过词表专用化将 SLM 推理成本降低 77%

How Specializing the Vocabulary of SLMs Can Cut Inference Cost by 77% in Real Applications

AI 导读

Dharma-AI 在 Hugging Face 博客中介绍即将发布的 VocabX 论文,用按 token 成本而非频率重建词表的方法,在基于 Qwen3-4B 的葡萄牙语作文评分器上把实测推理成本降低 77.0%,平均响应从 350 个 token 降到 101 个,bench 分数从 0.703 升到 0.810。

入选记录

入选两次之和 120 ≥ 门槛的两倍 120

信源等级
官方一手,这一级的门槛是 60 分
预筛
通过:专讲SLM词表优化降推理成本
推荐理由
原文给出了词表按成本而非频率重建的方法与实测数据,读者可据此判断小模型专用化的降本空间。

评分由模型按同一份标准独立打两次,满分 100;两次之和达到门槛的两倍才入选。门槛按信源等级设定。

来源:Hugging Face Blog · huggingface.co