马上注册，结交更多好友，享用更多功能，让你轻松玩转社区。
您需要 登录 才可以下载或查看，没有账号？立即注册
×
本地跑大模型现在门槛已经很低：一台有 NVIDIA 显卡的 Ubuntu 机器，装上 Ollama 拉一个 DeepSeek-R1 8B 权重，再用 Open WebUI 补上图形界面，就能在内网里搭一个能对话、能连续对话的私有实例。本文按系统准备 → 装 Ollama → 拉模型 → 起 UI → 打通容器访问的顺序记录完整过程，并说明几个容易卡住的环节。
一、环境准备
测试环境为 Ubuntu 20.04 桌面版，显卡为 NVIDIA。先做两件小事：
- 升级软件索引（顺带把可升级的包一起处理掉，省得后面依赖打架）：
sudo apt-get update
sudo apt-get upgrade -y
sudo apt-get install curl
另外确认 NVIDIA 驱动已装好且 nvidia-smi 能正常输出显卡信息。没有独显的机器也能跑，但 8B 量化版在纯 CPU 上会慢到几乎不可用，建议至少 32GB 内存走 CPU 推理，或者干脆上 Q4 量化的小参数版本。
二、安装 Ollama
到 Ollama 官网选 Linux 平台，页面会给出一条安装命令，本质就是下载安装脚本并执行：
curl -fsSL https://ollama.com/install.sh | sh
执行很快，几分钟内完成。装完验证：
ollama -v
能打印版本号即安装成功。Ollama 会把模型文件默认放在 ~/.ollama，桌面版配了 systemd 服务，可用 systemctl status ollama 查看运行状态。
安全提醒：这条命令直接把远程脚本管道给 shell 执行，属于常见但需谨慎的用法。生产或公用机器上，建议先下载脚本、人工 review 后再执行，或者改用发行版仓库里的安装包。
三、下载 DeepSeek-R1 模型
官网模型列表里找到 deepseek 系列，按显存选择参数规模：
- 1.5B 版本模型文件约 1.1GB，显存紧张或只想快速试效果就选它。
- 8B 版本约 4.9GB，效果明显更好，是大多数单卡机器的甜点档。
复制官网给出的命令直接下载并进入对话：
ollama run deepseek-r1:8b
首次运行会自动拉取权重，下载完直接进入交互式对话，可以直接问几个问题验证效果。之后再用同一条命令就会复用本地缓存，不再重复下载。
四、用 Docker 部署 Open WebUI
Ollama 本身只有命令行接口，图形界面交给 Open WebUI。它支持对接 Ollama 等多种后端，是本地大模型最常用的前端之一。
sudo docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.nju.edu.cn/open-webui/open-webui:main
这条命令里有几个关键点需要讲清楚：
-p 3000:8080：把容器 8080 映射到宿主机 3000，浏览器访问 127.0.0.1:3000。--add-host=host.docker.internal:host-gateway：让容器里能通过 host.docker.internal 这个域名解析到宿主机，这是容器访问宿主机上 Ollama 服务的关键，也是常见「UI 里选不到模型」的根因。-v open-webui:/app/backend/data：用命名卷持久化对话数据，容器删了历史也还在。--restart always：守护重启，机器重启后自动拉起。
浏览器打开 127.0.0.1:3000，第一次访问要注册账号（邮箱 + 密码），随后创建管理员账号即可进入主界面。
五、让容器内的 UI 能调用到后端模型
Ollama 默认只监听回环地址，容器访问宿主机时需要显式放开监听网卡：
sudo vim /etc/systemd/system/ollama.service
在 [Service] 段加一行：
Environment="OLLAMA_HOST=0.0.0.0"
然后重载并重启服务：
sudo systemctl daemon-reload
sudo systemctl restart ollama
之后再刷新 WebUI 页面，模型列表应当能读到 deepseek-r1:8b。若仍读不到，用 curl http://localhost:11434/api/tags 在宿主机上确认 Ollama 接口是否正常响应。
六、模型管理与磁盘占用
- 查看已拉到本地的模型：
ollama list。
- 删除某个模型释放空间：
ollama rm deepseek-r1:8b。
- 换用其他模型：直接
ollama run <模型名>，可拉取的清单在官网模型页有说明。
- 模型默认存放路径可通过环境变量
OLLAMA_MODELS 改到数据盘，避免塞满系统盘。
- 并发不高时显存占用可控；多人同时使用建议限制上下文长度，否则容易 OOM。
七、常见问题
- WebUI 里对话无响应：多半是容器到宿主机网络不通，检查
--add-host 是否漏写，以及 Ollama 是否已监听 0.0.0.0。
- 显卡没被使用：容器内需要 NVIDIA 容器运行时（nvidia-container-toolkit），纯 CPU 环境会退回 CPU 推理，速度慢很多。
- 拉取模型很慢：可给 Ollama 配置模型仓库镜像地址，或在系统代理可用的环境下走代理后重试。
- 历史对话丢失、每次都从空白开始：确认数据卷挂载正确，删容器时不要连带删卷。
八、适合什么场景
这套组合适合内网知识库问答、内部文档辅助、离线代码解释、隐私性要求高的场景。对外提供服务的场合，要额外加上登录鉴权、速率限制与日志 留存——图形界面本身默认防护很弱，直接暴露到公网风险很大。
qidao123.com企服评测-应用市场 编辑提示：本文为本地大模型部署步骤的经验整理，命令与参数均来自公开文档与实测，未引用任何外部链接、图片或第三方教程地址；文中镜像地址与端口仅作示例，落地前请按自身网络与合规要求替换，并在公开环境部署前完成鉴权配置。 | 
发表于 2026-10-6 11:41:33