如何使用 Ray LLM Deep Learning Containers 运行多节点推理工作负载

Ray LLM Deep Learning Containers 可在 Amazon EKS 的两个 GPU 节点上部署同一个大语言模型，分别处理预填充和解码，共用一个兼容 OpenAI 的端点。容器集成 vLLM、NIXL 和 EFA，支持节点间 KV cache 传输，减少预填充对 token 生成的干扰。