马上注册,结交更多好友,享用更多功能,让你轻松玩转社区。
您需要 登录 才可以下载或查看,没有账号?立即注册
×
💝💝💝接待来到我的博客,很高兴可以或许在这里和您见面!盼望您在这里可以感受到一份轻松舒畅的氛围,不但可以得到风趣的内容和知识,也可以各抒己见、分享您的想法和见解。
- 保举:kwan 的首页,连续学习,不停总结,共同进步,活到老学到老
- 导航
- 檀越剑指大厂系列:全面总结 java 核心技能,jvm,并发编程 redis,kafka,Spring,微服务等
- 常用开辟工具系列:常用的开辟工具,IDEA,Mac,Alfred,Git,typora 等
- 数据库系列:具体总结了常用数据库 mysql 技能点,以及工作中碰到的 mysql 题目等
- 新空间代码工作室:提供各种软件服务,承接各种结业筹划,结业论文等
- 懒人运维系列:总结好用的下令,解放双手不香吗?能用一个下令完成绝不消两个操纵
- 数据布局与算法系列:总结数据布局和算法,差别范例针对性练习,提拔编程头脑,剑指大厂
非常期待和您一起在这个小小的网络天下里共同探索、学习和发展。💝💝💝 ✨✨ 接待订阅本专栏 ✨✨
前言
如今在 AI 范畴的竞争徐徐进入了白热化,各家大模子的性能比力真是一天一个变革。本日和各人分享的是由谷歌带来的 Gemma3 开源大模子,它有 10 亿、40 亿、120 亿和 270 亿参数等多种规模版本,我们可以按需选择。
在多项基准测试中,Gemma 3 百口桶相较于上一代实现了全面提拔,仅以 27B 参数击败了 o1-preview、o3-mini high、DeepSeek V3,属于仅次于 DeepSeek R1 的开源模子。而且可以明白 140+语言,中文支持也很好,更棒的是支持视觉输入和文本输出的多模态本领。
下面就来具体演示一下怎样在家用级的 Windows 体系电脑上,利用 ollama 来安装摆设 Gemma3:27B 大模子,并给他搭配一个 WebUI 界面,让我们在与 AI 互动时得到更雅观的界面与更多的辅助功能。
1. 安装 Ollama
本例中利用的是 Windows11 体系专业版,通过 Ollama 运行 Gemma3:27B 大模子,之前曾经发布过怎样在 Windows 安装 Ollama 的教程,有必要的同砚可以看看这篇文章:Windows 当地摆设 Deepseek-R1 大模子并利用 Web 界面远程交互
简单来说,就是访问 Ollama 的官网:Download Ollama on Windows
下载对应版本的 ollama 安装步伐并安装:
2.Gemma3 模子安装与运行
然后在 Ollama 的官网点击 Models,可以看到排在最上边的就是 Gemma3 模子百口桶:
点进去之后,在左侧的下拉选项中能看到现在有 4 个量级的模子,分别是 1b/4b/12b/27b 和对应所需的储存空间:
本例利用 gemma3:27b 模子举行演示,**支持多模态(视觉)**27B 参数模子(128k 上下文窗口),必要预备 20G 以上硬盘空间,右边是运行下令:
Ollama 安装完成之后,打开 cmd 大概 powershell 等终端工具,实行下令就可以下载模子了:
PS:默认会下载模子到 C 盘,如果想修改下载位置,可以在终端中实行下方下令来指定模子文件的存放目次,这里以 d:\ollama 为例,各人可以自界说:
- set OLLAMA_MODELS=d:\ollama
复制代码 如果你之前安装过 ollama,在实行下令后出现如下图提示,那么关闭终端,请先升级 ollama 到最新版本。
更新后,即可正常下载:
模子下载完成之后,安装乐成后会提示 success:
主动进入对话状态,直接输入内容就能提问了:
3. 安装 Open WebUI 图形化界面
如今我们已经可以或许在当地 Windows 电脑上利用 Gemma3 27B 模子解答题目了,但在下令行中对话大概不是很雅观,在复制答复时也不太方便,我们可以通过安装一个图形化界面来办理这个题目。
不外在此之前,我们必要设置 Ollama 的环境变量,在终端中分别实行下方下令以便后续远程调用大模子:
- setx OLLAMA_HOST "0.0.0.0"
复制代码 然后点击电脑桌面右下角的 ollama 图标退出并重启服务。
本例以Open WebUI这个图形化界面为例,利用 Docker 举行安装,它的界面宁静常在网页中和其他大模子谈天非常相似。固然,各人也可以选择其他的方式,比如利用page assist 欣赏器插件,lobechat,cherry studio等。
如果各人之前未安装过 Docker,可以参考下方教程举行Docker 安装:Docker 安装——Linux、Windows、MacOS
3.1 Open WebUI 安装运行
访问Open WebUI的 github 页面: https://github.com/open-webui/open-webui
如果你的 Ollama 和 Open WebUI 在同一台主机,实行这行下令在cmd终端中就可以在当地快速举行摆设:
- docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main
复制代码 将上边在 Docker 中摆设 Open WebUI 的下令复制后粘贴到终端中,回车:
安装完成后,打开 Docker Desktop,可以看到 Open WebUI 的 web 界面所在为:https://localhost:3000
点击后会在欣赏器打开登录界面:
利用自己的邮箱注册账号,暗码要记好,下次登录时必要用到:
添加模子后就能在欣赏器中利用 web 界面来和 Gemma3 27B 模子谈天了!
3.2 添加模子
点击右上角的设置,可以修改当前界面的语言为简体中文:然后点击生存即可。
点击上方选择一个模子旁边的加号+可以增长大模子,点击下拉按钮可以选择当前利用哪一个已安装的模子,这里选择刚才安装的 gemma3:27b,接下来就可以舒畅的跟大模子在网页中谈天了!
到这里就乐成在 Windows 电脑当地摆设了 gemma3:27b 模子并利用 Open WebUI 在网页中与 AI 交互啦。
3.3 多模态测试
如今我们上传一张图片测试一下结果:(点击对话框左侧加号即可上传图片)
确实有点东西,辨认物品的结果照旧不错的,还给出了一个结论。
再来测试上传一张人物照片给它,让它分析一下拍摄结果并给出优化发起:
感觉似乎分析的也还行,各人感爱好的话也可以稍后自己摆设一下举行测试。
4. 安装内网穿透工具
但如果想实现不在同一网络环境下,也能随时随地在欣赏器中利用 Open WebUI 与当地摆设的 gemma3:27b 大模子在网页中谈天,那就必要借助 cpolar 内网穿透工具来实现公网访问了!接下来先容一下怎样安装 cpolar 内网穿透,过程同样非常简单:
起首辈入 cpolar 官网:
cpolar 官网所在: https://www.cpolar.com
点击免费利用注册一个账号,并下载最新版本的 cpolar:
登录乐成后,点击下载 cpolar 到当地并安装(一起默认安装即可)本教程选择下载 Windows 版本。
cpolar 安装乐成后,在欣赏器上访问 http://localhost:9200,利用 cpolar 账号登录,登录后即可看到设置界面,结下来在 WebUI 管理界面设置即可。
接下来设置一下 Open WebUI 的公网所在:
登录后,点击左侧仪表盘的隧道管理——创建隧道,
- 隧道名称:gem27(可自界说定名,注意不要与已有的隧道名称重复)
- 协议:选择 http
- 当地所在:3000 (当地访问的所在)
- 域名范例:选择随机域名
- 地域:选择 China Top
隧道创建乐成后,点击左侧的状态——在线隧道列表,检察所天生的公网访问所在,有两种访问方式,一种是 http 和 https:
利用上面的恣意一个公网所在,在手机或恣意装备的欣赏器举行登录访问,即可乐成看到 Open WebUI 界面,如许一个公网所在且可以远程访问就创建好了,利用了 cpolar 的公网域名,无需自己购买云服务器,即可到随时在线访问 Open WebUI 来在网页中利用当地摆设的 gemma3:27b 大模子了!
小结
为了方便演示,我们在上边的操纵过程中利用 cpolar 天生的 HTTP 公网所在隧道,其公网所在是随机天生的。这种随机所在的上风在于创建速率快,可以立纵然用。然而,它的缺点是网址是随机天生,这个所在在 24 小时内会发生随机变革,更恰当于临时利用。
如果有长期远程访问 Open WebUI 利用 gemma3:27b 模子,大概异地访问与利用其他当地摆设的服务的需求,但又不想天天重新设置公网所在,还想让公网所在悦目又好记并体验更多功能与更快的带宽,那我保举各人选择利用固定的二级子域名方式来为 Open WebUI 设置一个公网所在。
5. 设置固定公网所在
接下来演示怎样为其设置固定的 HTTP 公网所在,该所在不会变革,方便分享给别人长期检察你摆设的项目,而无需天天重复修改服务器所在。
设置固定 http 端口所在必要将 cpolar 升级到专业版套餐或以上。
登录 cpolar 官网,点击左侧的预留,选择生存二级子域名,设置一个二级子域名名称,点击生存:
生存乐成后复制生存乐成的二级子域名的名称:mygem27,各人也可以设置自己喜好的名称。
返回 Cpolar web UI 管理界面,点击左侧仪表盘的隧道管理——隧道列表,找到所要设置的隧道:gem27,点击右侧的编辑:
修改隧道信息,将生存乐成的二级子域名设置到隧道中
- 域名范例:选择二级子域名
- Sub Domain:填写生存乐成的二级子域名:mygem27
点击更新(注意,点击一次更新即可,不必要重复提交)
更新完成后,打开在线隧道列表,可以看到公网所在已经发生变革,所在名称也酿成了固定的二级子域名名称的域名:
末了,我们利用上边恣意一个固定的公网所在访问,可以看到访问乐成,如许一个固定且永世稳固的公网所在就设置好了,可以随时随地在公网环境异地在线访问当地摆设的 Open WebUI 来利用 gemma3:27b 大模子了!
总结
通过以上步调,我们实现了在 Windows 体系电脑当地安装 Ollama 与谷歌 gemma3:27b 大模子,并利用 docker 摆设 Open WebUI,联合 cpolar 内网穿透工具轻松实如今公网环境中利用欣赏器远程访问当地摆设的大模子,并设置固定稳固的二级子域名公网所在的全部流程,颠末简单测试,这款大模子的多模态功能确实结果很惊艳,而且还支持在家用级硬件设置上举行当地摆设,低沉了利用门槛,非常期待它后续的发展,也感谢您的观看,有任何题目接待留言互换。
以为有用的话点个赞 👍🏻 呗。
❤️❤️❤️本人程度有限,如有马虎,接待各位大佬批评品评指正!😄😄😄
💘💘💘如果以为这篇文对你有资助的话,也请给个点赞、收藏下吧,非常感谢!👍 👍 👍
🔥🔥🔥Stay Hungry Stay Foolish 道阻且长,行则将至,让我们一起加油吧!🌙🌙🌙
|