【大模子】Ollama+open-webui/Anything LLM摆设本地大模子构建RAG个人知识库教程（Mac）

目次
一、Ollama是什么？
二、如安在Mac上安装Ollama
1. 预备工作
2. 下载并安装Ollama
3. 运行Ollama
4. 安装和设置大型语言模子
5. 使用Ollama
三、安装open-webui
1. 预备工作
2. Open WebUI ⭐的重要特点
3. Docker安装OpenWebUI，拉去太慢可以使用手动安装
4. 设置本地大模子LLaMA2-7B
5. 验证设置
四、使用Ollama + AnythingLLM构建类ChatGPT本地问答呆板人系
学习目的
1. 下载AnythingLLM
2. 安装AnythingLLM
3. 设置AnythingLLM
3.1 选择LLM、嵌入模子和向量数据库
3.2 设置情况变量（假如须要）
3.3 权限管理（假如须要）
4. 构建知识库
5. 开始使用
6. 自界说集成（假如须要）
7. 监控和反馈
8. 留意事项
9. 额外信息
参考文章

---

一、Ollama是什么？

Ollama是一个功能强大的开源框架，旨在简化在Docker容器中摆设和管理大型语言模子（LLM）的过程。以下是关于Ollama的具体先容：

• 界说与功能：
  
  
  
  • Ollama是一个开源的大型语言模子服务工具，它资助用户快速在本地运行大模子。
    
  • 通过简单的安装指令，用户可以实行一条下令就在本地运行开源大型语言模子，如Llama 2。
    
  • Ollama极大地简化了在Docker容器内摆设和管理LLM的过程，使得用户可以大概快速地在本地运行大型语言模子。
    
  
  
• 特点与上风：
  
  
  
  • 功能齐备：Ollama将模子权重、设置和数据捆绑到一个包中，界说成Modelfile。
    
  • 优化设置与设置：它优化了设置和设置细节，包罗GPU使用情况。
    
  • 易用性：用户无需深入相识复杂的摆设和管理流程，只需简单的安装和设置即可使用。
    
  • 支持热加载：用户无需重新启动即可切换差别的模子。
    
  
  
• 支持的平台与模子：
  
  
  
  • Ollama支持在Mac和Linux平台上运行。
    
  • 它支持运行多种开源大型语言模子，如Llama 2。
    
  
  
• API与界面：
  
  
  
  • Ollama提供了类似OpenAI的API接口和谈天界面，方便用户摆设和使用最新版本的GPT模子。
    
  
  
• 安装与摆设：
  
  
  
  • Ollama的安装过程被极大地简化，并提供了多种选择，包罗Docker镜像。
    
  
  

综上所述，Ollama是一个为在本地运行大型语言模子而筹划的强大、易用、功能齐备的开源框架。它通过优化设置和设置，简化了在Docker容器中摆设和管理LLM的过程，使得用户可以大概快速、方便地在本地运行大型语言模子。

二、如安在Mac上安装Ollama

在Mac上安装Ollama的步调如下，团结了参考文章中的信息，并举行了恰当的总结和归纳：
1. 预备工作

• 确认体系兼容性：Ollama支持在Mac上运行，但请确保您的Mac满足运行大型语言模子所需的最低体系要求。
  
• 查抄存储空间：安装和运行Ollama以及大型语言模子大概须要较大的磁盘空间。请确保您的Mac有富足的存储空间。
  

2. 下载并安装Ollama

• 访问Ollama官网：前去Ollama的官方网站（如：https://ollama.com/）下载实用于Mac的安装包。
  
• 下载安装包：在官网找到实用于Mac的下载链接，下载Ollama的安装包。
  
• 安装Ollama：双击下载的安装包，按照提示完成安装过程。
  

3. 运行Ollama

• 打开终端：在Mac上打开终端（Terminal）。
  
• 运行下令：在终端中，输入相应的下令来启动和运行Ollama。比方，使用ollama pull llama3下令来拉取并安装Llama 3模子（请留意，这只是一个示例下令，具体下令大概因Ollama的版本和您的需求而有所差别）。
  
• 下载llama2所在： llama2
  
• 下载下令：ollama run llama2:7b
  
  
  
  • 
    
  
  

4. 安装和设置大型语言模子

• 选择模子：根据您的需求选择符合的大型语言模子。Ollama支持多种开源大型语言模子，如Llama 2、Llama 3等。
  
• 安装模子：使用Ollama提供的下令来安装所选的模子。比方，使用ollama pull llama3下令来安装Llama 3模子。
  
• 设置模子：根据模子的文档和分析，举行须要的设置和设置。这大概包罗设置模子的参数、设置GPU使用情况等。
  

5. 使用Ollama

• 启动服务：在乐成安装和设置模子后，您可以使用Ollama提供的下令或API来启动和运行模子服务。
  
• 访问和使用：通过Ollama提供的Web界面或API接口，您可以访问和使用已摆设的大型语言模子举行各种任务，如文本天生、问答等。
  
• API调用       curl http://localhost:11434/api/generate -d '{
      "model": "llama2:7B",
      "prompt":"Why is the sky blue?"
      }'
  
  
  
  • 
    
  
  
• 复兴题目时CPU100%，MAC M1 8G内存
  
  
  
  • 
    
  
  

请留意，以上步调和下令大概因Ollama的版本和您的具体需求而有所差别。发起您参考Ollama的官方文档和社区资源，以获取最正确和最新的安装和使用指南。
三、安装open-webui

1. 预备工作

• 安装Docker情况：确保你的体系上已经安装了Docker Desktop。你可以从Docker官网下载并安装恰当你操纵体系的Docker Desktop版本。
  
• 设置Docker以支持GPU（可选）：假如你的本地有GPU，而且渴望使用GPU加速大模子效果，你须要在Docker Desktop中设置GPU支持。这通常涉及到在Docker Desktop的设置中启用GPU支持，并安装相应的驱动步调和软件。
  
• 可参考文章：Macbook m1安装docker具体教程_mac m1安装docker-CSDN博客
  

2. Open WebUI ⭐的重要特点

GitHub - open-webui/open-webui: User-friendly WebUI for LLMs (Formerly Ollama WebUI)

• 🚀 轻松设置：使用 Docker 或 Kubernetes（kubectl、kustomize 或 helm）无缝安装，提供无忧体验，同时支持标记映像和标记映像。llama:cuda
  
• 🤝 Ollama/OpenAI API 集成：轻松集成兼容 OpenAI 的 API，与 Ollama 模子举行多功能对话。自界说 OpenAI API URL 以链接 LMStudio、GroqCloud、Mistral、OpenRouter 等。
  
• 🧩 Pipelines、Open WebUI 插件支持：使用 Pipelines 插件框架将自界说逻辑和 Python 库无缝集成到 Open WebUI 中。启动您的 Pipelines 实例，将 OpenAI URL 设置为 Pipelines URL，探索无穷大概。示例包罗函数调用、控制访问的用户速率限定、使用 Langfuse 等工具进利用用情况监控、使用 LibreTranslate 提供多语言支持的实时翻译、有害消息过滤等等。
  
• 📱 相应式筹划：在台式电脑、条记本电脑和移动装备上享受无缝体验。
  
• 📱 实用于移动装备的渐进式 Web 应用步调 （PWA）：使用我们的 PWA 在您的移动装备上享受类似本机应用步调的体验，提供对 localhost 的离线访问和无缝的用户界面。
  
• ✒️🔢 完备的 Markdown 和 LaTeX 支持：通过全面的 Markdown 和 LaTeX 功能提拔您的 LLM 体验，以实现丰富的交互。
  
• 🛠️ 模子天生器：通过 Web UI 轻松创建 Ollama 模子。通过 Open WebUI 社区集成，轻松创建和添加自界说脚色/署理、自界说谈天元素和导入模子。
  
• 📚 本地 RAG 集成：通过突破性的检索加强天生 （RAG） 支持，深入相识谈天交互的未来。此功能将文档交互无缝集成到您的谈天体验中。您可以将文档直接加载到谈天中或将文件添加到文档库中，在查询之前使用下令轻松访问它们。#
  
• 🔍 RAG 的 Web 搜索：使用 、 、 、 和 等提供步调实行 Web 搜索，并将效果直接注入到谈天体验中。SearXNGGoogle PSEBrave Searchserpstackserper
  
• 🌐 Web 欣赏功能：使用后跟 URL 的下令将网站无缝集成到您的谈天体验中。此功能答应您将 Web 内容直接归并到您的对话中，从而加强交互的丰富性和深度。#
  
• 🎨 图像天生集成：使用 AUTOMATIC1111 API 或 ComfyUI（本地）和 OpenAI 的 DALL-E（外部）等选项无缝整合图像生乐成能，通过动态视觉内容丰富您的谈天体验。
  
• ⚙️ 许多模子对话：绝不费力地同时与各种模子互动，使用它们的独特上风来得到最佳相应。通过并利用用各种模子来加强您的体验。
  
• 🔐 基于脚色的访问控制 （RBAC）：确保使用受限权限举行安全访问;只有颠末授权的个人才华访问您的 Ollama，而且为管理员保存独家模子创建/拉取权限。
  
• 🌐🌍 多语言支持：通过我们的国际化 （i18n） 支持，以您的首选语言体验 Open WebUI。参加我们，扩展我们支持的语言！我们正在积极探求贡献者！
  
• 🌟 连续更新：我们致力于通过定期更新、修复和新功能来改进 Open WebUI。
  

想相识更多关于Open WebUI的功能吗？查察我们的 Open WebUI 文档，相识全面概述！
3. Docker安装OpenWebUI

拉取Open-WebUI镜像：使用Docker下令从GitHub Container Registry拉取Open-WebUI的镜像。比方，你可以运行以下下令来拉取最新的Open-WebUI镜像：
   docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main
  

 下载太慢，须要设置docker国内镜像堆栈，参考这篇文章：
MacOS上设置docker国内镜像堆栈所在_mac docker设置镜像源-CSDN博客

假如163也很慢，发起设置阿里云镜像所在，须要登岸阿里云 不外设置发现更慢！手动下载了
末了只能用邪术办理了

4. 安装完成

4.1 本地登岸

登岸所在 http://localhost:3000/  注册账号登岸

4.2 选择模子

4.3 谈天

4.4 设置文本嵌入模子

4.5 上传PDF文档

4.6 关联文档，复兴题目

4. 设置本地大模子LLaMA2-7B

• 下载LLaMA2-7B模子：你须要从恰当的泉源（如Hugging Face的模子堆栈）下载LLaMA2-7B模子的文件。由于模子文件大概非常大，下载大概须要一些时间。确保你有富足的存储空间来存储这些文件。
  
• 设置Open-WebUI以使用LLaMA2-7B模子：Open-WebUI答应你通过设置文件或情况变量来指定要使用的模子。你须要根据你的Open-WebUI版本和设置方式，将LLaMA2-7B模子的路径或位置设置到Open-WebUI中。具体的设置方法大概因Open-WebUI版本而异，请参考Open-WebUI的官方文档或GitHub堆栈中的分析举行设置。
  
• 重启Open-WebUI容器：在设置完Open-WebUI以使用LLaMA2-7B模子后，你须要重启Open-WebUI容器以使设置收效。你可以使用Docker下令来克制并重新启动容器，大概假如Open-WebUI支持热重载设置，你也可以实行重新加载设置而不必重启容器。
  

5. 验证设置

• 访问Open-WebUI界面：在设置完成后，你可以通过欣赏器访问本地的3000端口来访问Open-WebUI的界面。在界面上，你应该可以大概看到已经设置好的LLaMA2-7B模子，并可以开始使用它举行对话或其他任务。
  
  
  • 
    
  
  
• 测试LLaMA2-7B模子：在Open-WebUI界面中，你可以实行与LLaMA2-7B模子举行对话或实行其他任务来验证设置是否正确。假如齐备正常，你应该可以大概看到LLaMA2-7B模子对你的输入做出公道的相应。
  

四、使用Ollama + AnythingLLM构建类ChatGPT本地问答呆板人系

学习目的

• 使用开源软件Ollama+AnythingLLM构建本地类ChatGPT问答呆板人体系
  
• 认识和相识基于LLM的本地RAG知识库搭建原理和逻辑，更换符合国内的LLM工具
  
• 学会安装、设置、使用问答体系，找出符合企业私有化客服（对内）的产物规划逻辑
  
• 对比和发现题目，探求优劣点
  

当在MAC上安装AnythingLLM时，以下是更具体的步调，团结了参考文章中的信息：
1. 下载AnythingLLM

• 访问AnythingLLM的官方网站：Download AnythingLLM for Desktop（留意：链接大概随时间而厘革，请以最新信息为准）。
  
• 在下载页面选择实用于MacOS的桌面版dmg文件，点击下载。
  
• 
  

2. 安装AnythingLLM

• 下载完成后，找到下载的dmg文件，双击打开。
  
• 跟随安装向导的指示，完成AnythingLLM的安装过程。
  
• 安装完成后，打开AnythingLLM应用。初次启动大概须要一些时间举行初始化操纵。
  
• 
  
• 
  
• 
  
• 
  
• 
  
• 
  

3. 设置AnythingLLM

3.1 步调分析

3.2 选择LLM、嵌入模子和向量数据库

• 在AnythingLLM应用中，根据需求选择或下载恰当的大语言模子（LLM）、嵌入模子和向量数据库。
  
  
  
  • LLM：AnythingLLM支持多种LLM，包罗但不限于OpenAI的GPT系列、Gemini、Mistral等。
    
    
    
    • 
      
    
    
  • 嵌入模子：可以选择内置的嵌入模子或下载其他模子，如OpenAI、LocalAi、Ollama等提供的嵌入模子。
    
    
    
    • nomic-embed-text
      
    • 
      
    • 
      
    
    
  • 向量数据库：默认使用内置的LanceDB，但也可以选择其他如Chroma、Milvus、Pinecone等。
    
  
  

3.3 设置情况变量（假如须要）

• 根据AnythingLLM的文档分析，如有须要，设置所需的情况变量，比方OLLAMA_MODELS。
  

3.4 权限管理（假如须要）

• 假如是企业级应用，可以设置多用户并举行权限管理，确保数据的安全性。
  

4. 构建知识库

• 在AnythingLLM中，通过“选择知识”按钮上传文档或给定知识文件链接（支持PDF、TXT、DOCX等文档格式）。
  
• 将文档通过嵌入模子转化为向量，并生存到向量数据库中。这个过程大概须要一些时间，具体取决于文档的巨细和体系的性能。
  
•  
  
  
• 
  
• 
  
• 
  

5. 开始使用

• 设置完成后，就可以在AnythingLLM中举行基于检索加强天生（RAG）的谈天或问答了。
  
• 可以创建本身的工作区（workspace），设置差别的设置，并开始与LLM举行交互。
  
• 
  
• 
  
• 
  

6. 自界说集成（假如须要）

• 假如须要，可以使用AnythingLLM的开辟者API举行自界说集成，以满足特定的业务需求。
  

7. 监控和反馈

• 使用AnythingLLM的遥测功能来监控应用的使用情况。
  
• 假如碰到题目或须要改进，可以通过创建issue或PR来提供反馈。
  

8. 留意事项

• 定期查抄并更新AnythingLLM和干系的模子、嵌入模子、向量数据库，以获取最佳的性能和安全性。
  
• 留意掩护个人隐私和知识产权，确保上传的文档内容正当合规。
  

9. 额外信息

• AnythingLLM是一个全栈应用步调，答应用户将任何文档、资源或内容转化为任何LLM在谈天过程中可以用作参考的上下文。
  
• 该应用步调支持多种LLM、嵌入器和向量数据库，并提供了多用户支持和权限管理功能。
  
• 通过AnythingLLM，用户可以在本地或云端搭建个性化的谈天呆板人体系，无需复杂设置。
  

参考文章

Ollama-0001-安装
Ollama：本地大模子运行指南
ollama+open-webui，本地摆设本身的大模子_ollama的webui怎样摆设-CSDN博客
Macbook m1安装docker具体教程_mac m1安装docker-CSDN博客
MacOS上设置docker国内镜像堆栈所在_mac docker设置镜像源-CSDN博客
第九期： 使用Ollama + AnythingLLM构建类ChatGPT本地问答呆板人体系 - 知乎 (zhihu.com)
AI小白使用Macbook Pro安装llama3与langchain初体验_mac安装llama3-CSDN博客
EP4 Ollama + AnythingLLM 解读本地文档 构建私有知识库_哔哩哔哩_bilibili