AI资讯
AWS 发布 llama.cpp 专用深度学习容器，可在 SageMaker AI 上部署决策模型并返回选项概率
AWS 在官方博客中介绍了基于 llama.cpp 的 AWS Deep Learning Container（DLC），用于在 Amazon SageMaker AI 上部署「决策模型」——即对一组预先声明的选项打分，而不是生成自由文…
标签
标签： llama.cpp
共 3 篇资讯
AI资讯
Underdog 发布 Saluki 27B：2-bit 量化 Qwen3.8-27B 压到 7.89 GB，工具调用反超原模型
Conway Research 旗下的端侧助手项目 Underdog 以 Apache 2.0 协议发布了 Saluki 27B，这是对 Qwen3.8-27B 做 2-bit 混合精度量化后的 GGUF 文件，体积 7.89 GB，而…
AI资讯
Transformers 支持直接运行 llama.cpp 的 GGUF 量化模型
Hugging Face 在官方博客宣布，transformers 现已支持高效运行 GGUF 格式模型，用户可以直接从 Hub 上选取 GGUF 检查点，通过熟悉的 from_pretrained 接口加载并生成内容。GGUF 由 l…