Hugging Face Blog·· 3 時間前
Dharma-AI、語彙の専用化でSLMの推論コストを77%削減
How Specializing the Vocabulary of SLMs Can Cut Inference Cost by 77% in Real Applications
AI による要約
Dharma-AIはHugging Faceのブログで、近く公開するVocabX論文を紹介した。語彙を頻度ではなくトークンあたりのコストに基づいて再構築する手法により、Qwen3-4Bベースのポルトガル語作文採点器で実測の推論コストを77.0%削減し、平均応答を350トークンから101トークンに、benchスコアを0.703から0.810に改善した。
入選の記録
基準 60公式・一次情報1 回目 622 回目 58
入選二回の合計 120 ≥ 基準の 2 倍 120
- 情報源の区分
- 公式・一次情報、この区分の基準は 60 点
- 予備審査
- 通過：专讲SLM词表优化降推理成本
- 推薦理由
- 語彙を頻度ではなくコストに基づいて再構築する手法と実測データが示されており、小規模モデルの専用化によるコスト削減の余地を判断できる。
採点はモデルが同じ基準で独立に二回行い、満点は 100。二回の合計が基準の 2 倍に届いたものだけが入選します。基準は情報源の区分ごとに決めています。
情報源：Hugging Face Blog · huggingface.co