标签： 多节点推理

AI资讯

AWS 发布多节点 Ray LLM Deep Learning Containers，在 EKS 上用两个 GPU 节点跑 prefill/decode 分离推理

AWS 发布面向多节点部署的 Ray LLM Deep Learning Containers（DLC），并在官方博客中给出完整示例：在 Amazon EKS 上把一个大语言模型拆到两个 GPU 节点上运行，一个节点负责 prefill…