AI资讯
Deepseek 开源 DeepInfer 推理引擎，支撑其最快最便宜的 V4.1-Flash 模型
Deepseek 将其 V4.1-Flash 模型背后的推理框架 DeepInfer 开源。该框架基于 vLLM 构建，官方称可降低运行 AI 模型时的算力成本与能耗。The Decoder 认为，这一开源动作会进一步加大 OpenAI…
标签
标签： vLLM
共 3 篇资讯
AI资讯
AWS 发布多节点 Ray LLM Deep Learning Containers，在 EKS 上用两个 GPU 节点跑 prefill/decode 分离推理
AWS 发布面向多节点部署的 Ray LLM Deep Learning Containers（DLC），并在官方博客中给出完整示例：在 Amazon EKS 上把一个大语言模型拆到两个 GPU 节点上运行，一个节点负责 prefill…
AI资讯
vLLM Semantic Router 发布 Decision 3.0：5 款 Apache-2.0 多模态决策模型，0.8B 到 27B
vLLM Semantic Router 团队发布 Decision 3.0 系列多模态决策模型，共 5 个尺寸，从 0.85B 的 d3-lite 到 26.09B 的 d3，全部采用 Apache-2.0 许可。这批模型不生成文本，…