Hugging Face Blog·· 10 日前
Transformers、llama.cppのGGUF量子化モデル実行に対応
Transformers now runs llama.cpp quants
AI による要約
Hugging FaceはtransformersにGGUF対応を追加した。Hubから量子化チェックポイントを選び、from_pretrainedにgguf_fileを渡すだけで、追加設定なしにローカル生成を実行できる。
入選の記録
基準 60公式・一次情報1 回目 622 回目 62
入選二回の合計 124 ≥ 基準の 2 倍 120
- 情報源の区分
- 公式・一次情報、この区分の基準は 60 点
- 予備審査
- 通過:Transformers支持GGUF本地推理,属AI开发工具
- 推薦理由
- transformersでGGUFを直接読み込む方法とローカル推論の性能比較を示し、既存のローカルワークフローを移行する価値を判断できる。
採点はモデルが同じ基準で独立に二回行い、満点は 100。二回の合計が基準の 2 倍に届いたものだけが入選します。基準は情報源の区分ごとに決めています。
情報源:Hugging Face Blog · huggingface.co