Hugging Face Blog·· 9 天前
Transformers 现已支持运行 llama.cpp 的 GGUF 量化模型
Transformers now runs llama.cpp quants
AI 导读
Hugging Face 为 transformers 加入 GGUF 支持，用户可从 Hub 选取量化检查点，用 from_pretrained 传入 gguf_file 即可在本地生成，无需额外配置。
入选记录
门槛 60官方一手第一次 62第二次 62
入选两次之和 124 ≥ 门槛的两倍 120
- 信源等级
- 官方一手，这一级的门槛是 60 分
- 预筛
- 通过：Transformers支持GGUF本地推理，属AI开发工具
- 推荐理由
- Hugging Face 官方给出在 transformers 中直接加载 GGUF 的用法与本地推理性能对比，可据此判断现有本地工作流是否值得迁移。
评分由模型按同一份标准独立打两次，满分 100；两次之和达到门槛的两倍才入选。门槛按信源等级设定。
来源：Hugging Face Blog · huggingface.co