标签： Transformers

AI资讯

Transformers 支持直接运行 llama.cpp 的 GGUF 量化模型

Hugging Face 在官方博客宣布，transformers 现已支持高效运行 GGUF 格式模型，用户可以直接从 Hub 上选取 GGUF 检查点，通过熟悉的 from_pretrained 接口加载并生成内容。GGUF 由 l…