首页
找靠谱产品
找解决方案
找靠谱公司
找案例
找对的人
专家智库
悬赏任务
SAAS
ToB门户
了解全球最新的ToB事件
论坛
潜水/灌水快乐,沉淀知识,认识更多同行。
ToB圈子
加入IT圈,遇到更多同好之人。
微博
Follow
记录
Doing
博客
Blog
文库
业界最专业的IT文库,上传资料也可以赚钱
下载
分享
Share
排行榜
Ranklist
相册
Album
应用中心
qidao123.com ToB IT社区-企服评测·应用市场
»
论坛
›
大数据
›
数据仓库与分析
›
DeepSeek本机部署(基于Ollama和Docker管理)
返回列表
发新帖
DeepSeek本机部署(基于Ollama和Docker管理)
[复制链接]
发表于 2025-2-12 12:15:06
来自手机
|
显示全部楼层
|
阅读模式
马上注册,结交更多好友,享用更多功能,让你轻松玩转社区。
您需要
登录
才可以下载或查看,没有账号?
立即注册
×
目录
一、ollama 与 docker 简介
(一)ollama(Ollama)
(二)docker
二、利用 ollama 和 docker
配置
deepseek-r1 的预备工作
(一)硬件需求
(二)软件安装
三、
配置
deepseek-r1 的具体步骤
(一)使用 ollama 获取 deepseek-r1 模子
(二)利用 docker 创建 deepseek-r1
容器
查看模子列表
下载模子命令
注意事项
(三)启动和测试 deepseek-r1 服务
四、这种
配置
方式的优势
(一)快速部署
(二)环境隔离
(三)易于扩展
五、大概碰到的问题及解决方法
(一)网络问题
(二)资源冲突
在人工智能技术日新月异的期间,大语言模子的应用越来越广泛,DeepSeek 作为此中的佼佼者,备受开发者和技术爱好者的关注。通过在本机部署 DeepSeek,能够更机动地利用其强盛
功能
。而借助 ollama 和 docker 举行 deepseek - r1 的配置,能为我们带来更高效、便捷的部署体验。
一、ollama 与 docker 简介
(一)ollama(Ollama)
ollama 是一个强盛的工具,它为模子的管理和运行提供了便利。它可以简化模子的下载、配置和启动过程,让用户能够快速地将不同的模子集成到本身的工作流程中。例如,在处置惩罚多个不同类型的大语言模子时,ollama 可以轻松管理这些模子之间的切换和调用,提高开发服从。
(二)docker
docker 则是
容器
化技术的代表,它能够将应用程序及其依赖项打包成一个独立的
容器
。在 DeepSeek 部署中,使用 docker 可以确保 deepseek - r1 在不同环境中具有同等的运行状态。无论在开发环境、测试环境还是生产环境,只要安装了 docker,就可以运行相同的 deepseek - r1 容器,避免了因环境差异导致的兼容性问题。
二、利用 ollama 和 docker 配置 deepseek-r1 的预备工作
(一)硬件需求
同通例的 DeepSeek 部署雷同,须要一台
性能
不错的计算机。内存建议 16GB 以上,这样在运行容器和模子时,能够保证系统的流畅性。同时,配备 NVIDIA GPU 会显着提拔模子的推理速率,对于处置惩罚大规模文本任务非常关键。
(二)软件安装
安装 docker
:可以从 docker 官方网站获取适合你操作系统的安装包,按照官方指引举行安装。在安装完成后,确保 docker 服务正常运行,可通过简单的命令行测试来验证(sheel中输入docker)。
安装 ollama
:根据你使用的操作系统,选择合适的安装方式。例如,在 Linux 系统中,可以通过特定的脚本举行安装。安装完成后,配置好 ollama 的运行环境变量,确保其能够被系统正确辨认。
三、配置 deepseek-r1 的具体步骤
可以看出DeepSeek-r1完全模子在各方面优于OpenAI,在某些方面评估甚至强于OpenAI,参数目适合于本地部署办公使用。
(一)使用 ollama 获取 deepseek-r1 模子
通过 ollama 的命令行工具,输入特定的命令来搜刮和下载 deepseek - r1 模子。ollama 会自动从官方或指定的源获取模子文件,并将其
存储
在本地的模子库中。
(二)利用 docker 创建 deepseek-r1 容器
基于下载好的 deepseek - r1 模子,使用 docker 命令创建一个新的容器。在创建容器时,须要指定容器的名称、挂载的目录(以便与本地文件系统举行交互)以及容器运行所需的环境变量。
查看模子列表
可以访问 ollama 官方的模子仓库library查看支持的模子列表,点击浏览某个模子,可看到具体说明,如模子参数、大小、运行命令等信息。
下载模子命令
使用ollama pull命令举行下载。例如,若要下载图片中的deepseek - r1 7b 模子,在命令行中输入
ollama pull deepseek-r1:7b
复制
代码
(若不指定具体
版本
如 7b 等,默认下载最新
版本
)。首次使用该命令运行模子时,ollama 也会自动从网上下载模子。
注意事项
下载速率大概受网络状况影响,假如网络不稳定,下载模子大概须要较长期待时间。
2. 部门模子对硬件资源有肯定要求,如运行较大的模子(像 llama3 - 70b)大概会较慢,甚至出现硬件资源不足无法正常运行的情况,下载前可相识模子对硬件的需求。(重要是系统内存的要求)
配置容器的网络设置,确保容器能够与外部举行通讯。可以根据现实需求,设置容器的端口映射,使本地应用能够访问到容器内运行的 deepseek - r1 服务。
(三)启动和测试 deepseek-r1 服务
(docker搭建请参照另一篇文章)完成容器创建后,使用 docker 命令启动 deepseek - r1 容器。容器启动后,ollama 会自动加载 deepseek - r1 模子,并启动相关的服务历程。
通过编写简单的测试脚本,向运行在容器内的 deepseek - r1 服务发送哀求,验证模子是否正常工作。例如,可以发送一段文本,哀求模子生成回答,查抄返回的结果是否符合预期。
(四)WebUi的配置
搭建部署Open WebUI有两种方式
Docker方式(官网保举)
源
代码
部署安装方式:(
文档
回复
使用道具
举报
返回列表
浏览过的版块
Java
SQL-Server
DevOps与敏捷开发
物联网
云原生
惊雷无声
+ 我要发帖
登录后关闭弹窗
登录参与点评抽奖 加入IT实名职场社区
去登录
微信订阅号
微信服务号
微信客服(加群)
H5
小程序
快速回复
返回顶部
返回列表