本地部署 deepseek-r1 1.5B方法-ubuntu20.04 python3.10 pycharm虚拟环境

环境准备

本文在 Ubuntu 20.04、Python 3.10 的虚拟环境下，使用 vLLM 部署 DeepSeek-R1-Distill-Qwen-1.5B 并启动本地推理服务。开始前请确认已安装 Python 3.10 与 pip，并准备一个独立的虚拟环境。

获取模型权重

该模型权重托管在 Hugging Face，使用 Git LFS 拉取。先安装并初始化 Git LFS：

sudo apt install git-lfs
git lfs install

然后克隆模型仓库（请将路径替换为你实际的模型目录）：

git clone https://huggingface.co/deepseek-ai/DeepSeek-R1-Distill-Qwen-1.5B <模型目录>

如果大文件没有随仓库一并拉取，可进入仓库目录手动拉取：

git lfs pull

安装 vLLM

在虚拟环境中安装 vLLM：

pip install vllm

启动推理服务

使用 vllm serve 启动 OpenAI 兼容的推理服务：

vllm serve <模型目录> \
    --tensor-parallel-size 1 \
    --max-model-len 8192 \
    --enforce-eager \
    --gpu-memory-utilization 0.7 \
    --swap-space 4 \
    --disable-log-stats

其中 <模型目录> 替换为前面克隆的模型路径；单卡推理时 --tensor-parallel-size 设为 1。

用 Python 调用推理接口

服务默认监听 8000 端口，可通过 requests 发送 OpenAI 风格请求：

import requests
import json

url = "http://0.0.0.0:8000/v1/completions"
data = {
    "model": "<模型目录>",
    "prompt": "请用中文介绍一下你自己。",
    "max_tokens": 100,
    "temperature": 0.1,
    "top_p": 0.9
}
response = requests.post(url, json=data)
print("Full Response:", response.json())
result = response.json()
if "choices" in result and len(result["choices"]) > 0:
    print("Generated Text:", result["choices"][0]["text"])
else:
    print("Error: No text generated")

常见问题

• 大文件未拉取成功：确认已执行 git lfs install 与 git lfs pull，或直接把权重文件放到对应目录。
• 显存不足：适当降低 --gpu-memory-utilization 或减小 --max-model-len。

qidao123.com企服评测-应用市场 编辑提示：部署大模型推理需占用较多显存与算力，请在自有或已授权环境中运行，仅用于合规的研究与开发目的。