[大模子实战 02] 图形化的大模子交互: Open WebUI摆设指南

焦点择要 (TL;DR)

• 目的：为当地的 Ollama 模子穿上漂亮的图形化界面 (GUI)。
  
• 工具：Docker + Open WebUI (社区最生动的开源 WebUI)。
  
• 焦点功能：媲美 ChatGPT 的对话界面、当地知识库 (RAG)、自界说脚色 (Agent)。
  

信赖各位友人在上一篇文章中，已经学会了怎样用ollama在终端中运行Qwen模子。下令行工具偶然间会感觉有点过于Geek，黑洞洞的下令窗口和冷冰冰的滚动的笔墨的技能感是有的，但是对于如果咱们想把大模子展示给其他朋侪，大概本身想一样平常利用，那这时间咱们就必要换一个更友爱，更光鲜的交互方式。
这也是这篇博文想带各人办理的题目：用10分钟时间，搭建一个功能媲美ChatGPT的私有化网页页面，而且毗连咱们的模子
Open WebUI就是我们完成这个目的的利器，其也是现在社区最生动，功能最强大的开源大模子交互界面。
01. 模子服务准备

在开始之前，由于要接入咱们的Ollama模子，以是我们要确认我们的Ollama服务运行起来了。
可以通过在终端输入curl http://localhost:5656下令去验证其是否准确开启。（固然，这个端标语必要根据咱们本身的设置来，默认还是11434，颠末上一篇博文，咱们为了克制服务器端口被扫导致咱们模子被滥用，已经将端口切换到5656了）。
如果表现Ollama is running，就阐明咱们准备ok了。

02. 利用docker一键安装 Open WebUI

docker是个好东西，只必要几行下令，就能帮咱们摆设各种服务。如果还没有相识过，那么猛烈安利去学习一下根本下令。同样在这里，安装Open WebUI最简朴，最省心的发自也是利用docker。如果是Windows用户，还没有安装Docker Desktop，可以先去Docker官网下载安装一下
我们这里利用下面这条下令，来主动下载OpenWebUI镜像而且启动该服务

1.   docker run -d \
2.   --network=host \
3.   -v open-webui:/app/backend/data \
4.   -e OLLAMA_BASE_URL=http://127.0.0.1:5656 \
5.   -e PORT=3000 \
6.   --name open-webui \
7.   --restart always \
8.   ghcr.io/open-webui/open-webui:main

复制代码

这里轻微表明一下，这行下令做了什么

• -d：背景静默运行。在背景静静跑着，不会由于关掉了终端就消散了。
  
• --network=host以及-e OLLAMA_BASE_URL=http://host.docker.internal:5656:关键参数**。这让 Docker 容器内部能通过这个特别的地点访问我们宿主机上的 Ollama 服务。留意这里的端口必要是我们的Ollama服务端口
  
• -v open-webui:/app/backend/data：将容器的/app/backend/data目次映射到docker管理的的open-webui目次，如许就把谈天纪录和设置生存到当地卷中，防止重启 Docker 后数据丢失。如果想要扫除该卷,可以在关闭容器后，通过docker volume rm open-webui去删除
  

输入下面的下令，可以检察Open WebUI的容器是否运行乐成

1. docker ps -a

复制代码

和上图一样，各位友人如果瞥见状态（Status）是Up的，我们就可以举行下一步，去打开咱们的服务了。
打开恣意欣赏器，访问http://localhost:3000，就能瞥见操持精良的登录页面了

附上官方链接和官方文档，以供有深入相识想法的友人去探索。
Open WebUI的github链接
Open WebUi的官方文档
03. 毗连大模子

3.1 注册管理员账号

各位友人第一次打开页面，必要咱们注册一下账号。由于是当地摆设的服务，以是，账号暗码都只在咱们本身的电脑里，不会上传给其他人（固然，如果咱们摆设在服务器上，别人也是可以访问，登录的）
3.2 选择模子

登录上之后，整个界面还好坏常清新的，结构和ChatGPT是很相像的。然后我们就必要选择我们刚才的Ollama模子

• 点击左上角的 选择模子下拉菜单
  
• 应该能看到咱们的modelscope.cn/Qwen/Qwen3-0.6B-GGUF模子，如果没有也没事，我们可以权且先跳过这一块儿，先看看背面的办理方案，办理了再返来。
  
  
  
  
• 选择好之后，我们举行下一步
  

如果在选择模子菜单中，没有看到我们的模子，就必要查抄一下OpenWebUI的ollama设置

• 点击用户名->管理员面板，打开
  
  
  
  
• 点击面板上方的设置
  
  
  
  
• 点击左侧外部链接
  
  
  
  
• 点击管理Ollama接口毗连的设置按钮
  
  
  
  
• 查对当前的毗连地点，端口是否准确，然后点击验证链接按钮举行验证
  
  
  
  
• 验证通过，就能回到主页找到我们的模子了
  

3.3 对话功能

在输入框中，我们就能像chatGPT一样跟模子举行对话了, markdown渲染，思考过程折叠，代码高亮，流式输出功能都是具备的。

3.4 进阶利用

除了最简朴的对话功能，Open WebUI还能做什么？我们重点先容一下最实用，最具“生产力”的两个功能
功能一：当地知识库（RAG）

RAG，全程是Retrieval Augmented Generation，检索加强天生。翻译成人明确话，检索，即我们给练习好了的模子一些文本，它将其作为上下文，去文本中检索题目相干的内容；加强，加强的意义在于，我们不消重新练习模子，没有任何模子会在该技能中被练习，通过改变交给模子的知识库，模子可以得到更贴合我们必要的内容，好比产物的利用阐明，一本故事书，最新的项目文档;天生，意味着当前输出还是由模子天生而来，还是运用模子本身对天下的明确本领。总而言之，RAG可以让模子成为我们量身定做的私人管家，本身的私财产地知识库。
在Open WebUI中，我们不消写一行代码，就可以实现如许便利的技能。
实操步调

• 上传文档：在谈天输入框左侧，点击 [+] 号（加号图标），选择 上传文件。上传一份 PDF 文档（比方一份产物阐明书或论文）。
  
  
  
  
• 确认加载：文件上传后，表现在谈天框左上角
  
  
  
  
• 提问： 针对文档题目，举行提问，比方：“先容一下这本书”
  
  
  
  

OpenWebUI内置了一些轻量级的向量模子，来将我们的文档分块，转化为向量, 存入内置的向量数据库中。当咱们提问的时间，它会找到和我们题目向量（对，模子也会将我们的题目转为向量）相近的段落，然后将这些段落给模子当作上下文，模子再据此给我们复兴。
功能二：给模子特定人设（System Prompts）

这个也比力好明确，我们和模子说的每句话，都是一句句prompt，但是prompt之间亦有差异，大抵分为User Prompt和System Prompt，User Prompt就是我们跟模子说的每句话，System Prompt是提前告知模子的一些不能忘记的预设知识，好比告诉Qwen模子，它是阿里公司练习的，名叫Qwen的模子，尚有类似模子身份认知的东西，默认一样平常都是类似于“你是一个可以大概资助人们复兴题目的助手”。
以是，这个模子的人设，也是可以改的，我们下面以哲学家苏格拉底为人设试试。
实操步调

• 点击左侧侧边栏的 工作空间。
  
  
  
  
• 在模子界面选择右上角的创建模子。固然我们这里并不是真的要创建一个模子，而是从现在的模子上派生出一个设置不一样的模子.
  
  
  
  
• 在模子名称处给模子一个我们喜好的模子
  
• 在模子ID处填写一个id号
  
• 在根本模子处选择我们已有的模子（现在0.6B的模子如果不敷聪明，可以去ollama拉去更聪明的模子）
  
• 在体系提示词处填入我们准备的人设 “你是一位古希腊哲学家苏格拉底。你从不直接复兴题目，而是通过反问来引导用户思考。”,咱也可以自由发挥，再加一些增补。
  
• 生存并创建
  
  
  
  
• 回到主页，我们就可以选择新的这个派生模子举行问答了
  
  
  
  

OpenWebUI实际上是还可以接入联网搜刮本领的，但是取决于模子本身的工具调用本领（function call本领）是否富足强大，如果我们用了更聪明的模子，可以开启该功能
04. 题外话

OpenWebUI实在尚有很多其他功能，好比真正的创建一个知识库，而不是简朴的读文档，乃至可以直接通过语音举行对话，举行恒久影象，接入更多风趣的工具（mcp）等等，但是此处篇幅有限，各位友人可以自行探索。
05. 常见题目 (Q&A)

这里整理了一些在操纵过程中大概会关心的题目:
Q: Open WebUI 只能连当地的 Ollama 吗？
A: 不是的。它是一个通用的前端界面，兼容性极强。

• 当地模子：Ollama, LocalAI 等。
  
• 在线 API：只要咱们有 OpenAI、Google Gemini、DeepSeek、Moonshot (Kimi) 等平台的 API Key，都可以在 设置 -> 外部毗连 里填入，直接在一个界面里管理全部模子，不消随处切网页了。
  

Q: 我能在手机/平板上利用这个界面吗？
A: 完全可以！ 只要咱们的手机和运行 Open WebUI 的电脑在同一个 Wi-Fi (局域网) 下。

• 查询电脑的局域网 IP（Windows 在终端输 ipconfig，检察 IPv4 地点，好比 192.168.1.5）。
  
• 在手机欣赏器输入 http://192.168.1.5:3000。
  
• 现在的 Open WebUI 完善适配移动端，体验和原生 App 差不多！
  

Q: Open WebUI 发布新版本了，我该怎么更新？
A: 由于咱们是用 Docker 摆设的，更新非常简朴，只必要重跑一遍镜像：

• 制止并删除旧容器：docker rm -f open-webui (放心，数据在 Volume 里，不会丢)。
  
• 拉取最新镜像：docker pull ghcr.io/open-webui/open-webui:main。
  
• 重新运行咱们文章里的那条 Docker 启动下令即可。
  

Q: 我上传的文档（RAG）安全吗？会被上传到云端吗？
A: 绝对安全。
咱们搭建的是全私有化情况。Open WebUI 会调用当地的嵌入模子（Embedding Model）处置惩罚文档，全部数据都存储在咱们电脑当地的 Docker 卷中，不会颠末任何外部服务器。
Q: 为什么我的文档上传后，模子复兴还是很慢？
A: 这通常取决于两点：

• 文档分析：初次上传大文档时，体系必要时间将其切分并存入向量数据库。
  
• 模子性能：如果咱们的电脑设置较低（没有独立显卡），模子读取上下文的速率会变慢。发起在上传文档时，只管上传纯文本或清楚的 PDF，克制满是图片的扫描件。
  

Q: 我在 Docker 下令里设置了端口，为什么访问不了？
A:

• 请查抄 Windows 防火墙是否拦截了 3000 端口。
  
• 确保 Docker Desktop 是运行状态（Status: Up）。
  
• 如果是云服务器，记得在安全组里放行 3000 端口。
  

本文作者： Algieba
本文链接： https://blog.algieba12.cn/llm02-start-with-open-webui/
版权声明： 本博客全部文章除特别声明外，均接纳 BY-NC-SA 允许协议。转载请注明出处！