Hugging Face Blog·· 5 日前
多ベクトル埋め込みモデル向けのToken Pooling対応トレーニング
Token Pooling-Aware Training for Multi-Vector Embedding Models
AI による要約
Hugging Faceのブログが、多ベクトル埋め込みモデル向けのToken Pooling対応トレーニングを紹介している。pool_factor=4で文書ベクトルを4分の1に削減した場合、通常のトレーニング済みモデルは未プーリング時のNanoBEIR nDCG@10の94.6%を維持するが、対応トレーニングでは維持率が97.8%に向上する。
入選の記録
基準 60公式・一次情報1 回目 342 回目 38
入選せず二回の合計 72 < 基準の 2 倍 120
- 情報源の区分
- 公式・一次情報、この区分の基準は 60 点
- 予備審査
- 通過：多向量嵌入模型Token Pooling训练技术
採点はモデルが同じ基準で独立に二回行い、満点は 100。二回の合計が基準の 2 倍に届いたものだけが入選します。基準は情報源の区分ごとに決めています。
情報源：Hugging Face Blog · huggingface.co