AI资讯
AWS 发布 llama.cpp 专用深度学习容器，可在 SageMaker AI 上部署决策模型并返回选项概率
AWS 在官方博客中介绍了基于 llama.cpp 的 AWS Deep Learning Container（DLC），用于在 Amazon SageMaker AI 上部署「决策模型」——即对一组预先声明的选项打分，而不是生成自由文…
标签
标签： GGUF
共 2 篇资讯
AI资讯
Transformers 支持直接运行 llama.cpp 的 GGUF 量化模型
Hugging Face 在官方博客宣布，transformers 现已支持高效运行 GGUF 格式模型，用户可以直接从 Hub 上选取 GGUF 检查点，通过熟悉的 from_pretrained 接口加载并生成内容。GGUF 由 l…