DeepSeek-R1本地化摆设（Mac）

一、下载 Ollama

本地化摆设须要用到 Ollama，它能支持许多大模子。官方网站：https://ollama.com/

点击 Download 即可，支持macOS,Linux 和 Windows；我下载的是 mac 版本，要求macOS 11 Big Sur or later，Ollama是跳转到github去下载的，假如下载不了大概要借助科学上网。
下载的是个压缩包，直接双击就可以解压出Ollama.app，点击运行即可安装

安装乐成之后，ollama会在配景运行，启动下令行，输入ollama

出现以上页面即体现安装乐成
二、下载DeepSeek-R1

还是进入ollama.com的页面，点击Models

下载deepseek-r1，

deepseek-r1有许多个版本，1.5b，7b，8b，14b，32b，70b，671b，分别代表模子差别的参数数量。

• B = Billion（十亿参数）：体现模子的参数量级，直接影响盘算复杂度和显存占用。
  
  
  
  • DeepSeek 1.5B：15亿参数（小型模子，恰当轻量级使命）
    
  • DeepSeek 7B：70亿参数（主流规模，均衡性能与资源）
    
  • DeepSeek 70B：700亿参数（高性能需求场景）
    
  • DeepSeek 671B：6710亿参数（超大规模，对标PaLM/GPT-4）
    
  
  

每个版本对应所需的内存巨细都不一样，假如你电脑运行内存为8G那可以下载1.5b，7b，8b的蒸馏后的模子；假如你电脑运行内存为16G那可以下载14b的蒸馏后的模子，我这里选择14b的模子。
利用ollama run deepseek-r1:14b 举行下载，在下令行内里输入：

1. ollama run deepseek-r1:14b

复制代码

利用ollama list 检察是否乐成下载了模子

输入ollama run deepseek-r1:14b运行模子，启动乐成后，就可以输入我们想问的题目，模子起首会举行深度思索（也就是think标签包罗的地方），思索竣事后会反馈我们题目的效果。在>>>之后输入想要咨询的 题目，模子回复的速率取决电脑的性能。

利用快捷键Ctrl + d 大概在>>>之后输入 /bye即可退出对话模式。

1. ## 删除模型
2. ollama rm deepseek-r1:14b
3. ## 停止模型
4. ollama stop deepseek-r1:14b

复制代码

三、web页面的访问

我们通过ollama下载模子后，可以在下令利用用deepseek了，但是下令行的情势还是有些不友爱，我们可以借助chatBox，大概Open-WebUI，只要接入ollama的Api就可以利用了。
1、Open-WebUI

Open WebUI是一个可扩展、功能丰富、用户友爱的自托管AI平台，旨在完全离线运行。它支持各种LLM运行步调，如Ollama和OpenAI兼容的API，内置RAG推理引擎，使其成为一个强大的AI摆设办理方案，本地须要安装Python3（版本3.11～3.13以下）。
安装 Open-WebUI须要利用pip举行安装，安装须要肯定时间

1. pip install open-webui
2. ### 如网络太差，可以使用国内的镜像下载
3. pip install open-webui -i http://mirrors.aliyun.com/pypi/simple/ --trusted-host mirrors.aliyun.com

复制代码

假如 pip 版本较低，可以更新下

1. python3 -m pip install --upgrade pip

复制代码

利用如下下令启动open-webui服务，启动须要肯定时间

1. open-webui serve

复制代码

后利用欣赏器输入http://127.0.0.1:8080/登录服务，注意端口的占用辩说，页面如下：

点击开始利用，第一次利用须要注册用户名、邮件以及暗码，这都是存在本地的，可以放心填写。

注册完毕后，假如本地已经运行了deepseek-r1，它可以自动辨认本地已经安装的deepseek r1大模子，

在对话框内里输入内容，即可与deepseek-r1睁开对话

2、ChatBox

Chatbox AI 是一款 AI 客户端应用和智能助手，支持浩繁先辈的 AI 模子和 API，可在 Windows、MacOS、Android、iOS、Linux 和网页版上利用。

我这里下载的mac版本，乐成安装启动后，点击左下角的设置

模子提供方选择Ollama API

模子选择本地摆设好的deepseek-r1:14b，点击生存，即可以开始对话

末了：蒸馏模子差别规格的选择，须要团结本身电脑的设置来选择，不符合的模子会导致电脑过载，对话回复的速率和效果题目都会很差。我电脑内存16GB，以为14b能扛得住，效果安装之后，对话巨慢！背面安装了8b，运行起来速率就快多了，但是通过页面的返回速率会变慢。