一个低级问题导致vLLM加载大模型时ray卡死

因nproc设置过小导致vllm加载大模型时卡在ray启动阶段
posted @ 2024-05-12 17:35  badwood  阅读(347)  评论(2)  编辑  收藏  举报
Badwood's Blog