vLLM Ray
有关Ray的逻辑首先在llm_engine中的from_engine_args进行定义
- 首先获取engine_config
- 然后判断到是raygpu_executor,进行ray cluster初始化(executor/ray_tuils)
- 然后定义RayGPUExecutor
vllm代码走读(三)--executor(分布式) - 知乎
Transformer第九章:vllm并行化/分布式配置parallel_config - 知乎
有关Ray的逻辑首先在llm_engine中的from_engine_args进行定义
vllm代码走读(三)--executor(分布式) - 知乎
Transformer第九章:vllm并行化/分布式配置parallel_config - 知乎