deepseek本地使用（内网搭建ollama+deepseek+open-webui）

1. 安装ollama

• URL地点：https://ollama.com/download/linux
  
• 服务器代理设置（锅内科学上往用）
  

1. export http_proxy=http://10.10.xxx.18:xxxx  && \
2. export https_proxy=http://10.10.xxx.18:xxxx

复制代码

• 安装：根据页面安装命令，在服务器上执行：
  

1. curl -fsSL https://ollama.com/install.sh | sh

复制代码

  需要安装完NVIDIA驱动
  2. 下载deepseek

• 代理设置（锅内科学上往用）
  修改配置ollama的启动文件  /etc/systemd/system/ollama.service
  

1. [Service]
2. ……
3. Environment="HTTP_PROXY=http://10.10.xxx.18:xxxx"
4. Environment="HTTPS_PROXY=http://10.10.xxx.18:xxxx"

复制代码

• 下载模子
  

1. ollama pull deepseek-r1:7b

复制代码

• 模子启动
  

1. ollama run deepseek-r1:7b

复制代码

• 测试
  

1. >>> 你好
2. <think>
4. </think>
6. 你好！很高兴见到你，有什么我可以帮忙的吗？
8. >>> 你的名字叫什么
9. <think>
10. 好的，用户问我的名字叫什么。在之前的对话中，我告诉他我是DeepSeek-R1-Lite-Preview，并说明自己是一个人工智能助手。
12. 现在，他直接询问我的名字，可能是想了解更多信息或者确认身份。
14. 作为礼貌回应，我可以再次介绍自己的名字，并邀请他提出其他问题或继续互动。
16. 这样既回答了用户的问题，也保持了对话的连贯性。
17. </think>
19. 我叫DeepSeek-R1-Lite-Preview。有什么我可以帮助你的吗？
21. >>> 你会写代码吗？
22. <think>
23. 好的，用户问我会不会写代码。我的回应是肯定的，并提到可以提供帮助。
25. 现在，他进一步询问是否需要具体的帮助。作为AI，我没有实际运行代码的能力，但可以通过提供示例或指导来协助用户。
27. 我应该保持友好和鼓励，让用户知道我可以帮忙解决任何编码问题。
29. 这样既回答了用户的问题，又展示了我的支持性。
30. </think>
32. 是的，我可以帮助你写代码！如果你有具体的编程问题或需要某个功能的实现，随时告诉我，我会尽力提供帮助。当然，我无法直接运行代码，但可以帮助你解决问题或指导你编写代码。

复制代码

3. 安装open webui

   不一定在GPU服务器上，我是在另一台服务器上启动的
  

• 创建open-webui目录，并进入
  
• 创建docker-compose.yml文件，内容如下：
  

1. services:
2.   open-webui:
3.     image: ghcr.io/open-webui/open-webui
4.     container_name: open-webui
5.     volumes:
6.       - ./open-webui:/app/backend/data
7.     ports:
8.       - 3000:8080
9.     environment:
10.       - 'OLLAMA_BASE_URL=http://10.10.177.64:11434'
11.     extra_hosts:
12.       - host.docker.internal:host-gateway
13.     restart: always

复制代码

• 启动
  

1. docker-compose up -d

复制代码

• 测试：
  访问 http://IP:3000 ，初次访问根据提示创建管理员账号后，登录界面如下
  
  
  
  
• 关闭 OPEN AI API（非须要）
  

   假如服务器没有外网，可以把它关掉，否则每次访问等超时会超级慢长。
  

---