AI智算-k8s+SGLang实战：DeepSeek-r1:671b满血版多机多卡私有化摆设全攻略

媒介

随着 DeepSeek AI 大模子的崛起，近期私有化摆设徐徐成为行业趋势。常见的摆设方式之一是使用 Ollama，这对于个人用户和当地开发环境而言，具有较好的兼容性，尤其是支持各种 GPU 硬件和大模子的兼容性，且无需复杂的设置就可以或许启动。然而，相比于专业的推理引擎，如 SGLang、vLLM，Ollama 在性能上存在肯定差距。
   本日，阿程将先容怎样联合云原生K8s、SGLang、LeaderWorkerSet 和 Volcano 等技能栈，来高效摆设分布式 DeepSeek-r1 满血版推理集群。通过这一架构，可以充实使用云原生技能的上风，确保模子的高性能推理以及集群的机动扩展性。
  选型SGLang推理引擎的来由：

环境准备

1. 模子下载

本次阿程摆设的是企业级满血版的Deepseek-R1 671B。
   方式一：通