Mac环境下ollama摆设和体验

欢迎访问我的GitHub

   这里分类和汇总了欣宸的全部原创(含配套源码)：https://github.com/zq2599/blog_demos
  关于ollama

• ollama和LLM（大型语言模子）的关系，类似于docker和镜像，可以在ollama服务中管理和运行各种LLM，下面是ollama下令的参数，与docker管理镜像很类似，可以下载、删除、运行各种LLM
  

1. Available Commands:
2.   serve       Start ollama
3.   create      Create a model from a Modelfile
4.   show        Show information for a model
5.   run         Run a model
6.   pull        Pull a model from a registry
7.   push        Push a model to a registry
8.   list        List models
9.   cp          Copy a model
10.   rm          Remove a model
11.   help        Help about any command

复制代码

• 官网：https://ollama.com/
  
• 非常轻巧
  
  
  
  

本篇概览

• 作为入门操纵的条记，本篇记录了摆设和简单体验ollama的过程，而且通过docker摆设了web-ui，实行通过页面利用大模子
  
• 本次操纵的环境如下
  

• 电脑：macbook pro m1，Sonoma 14.4.1
  
• ollama：0.1.32
  

安装

• 在官网首页点击Download即可下载，得到zip安装包，解压后就是应用步伐了
  
  
  
  
• 会提示是否移动到应用步伐目次，回车确认
  
  
  
  
• 打开后是个简单的页面
  
  
  
  
• 完成安装，会有一个提示，告诉你怎样安装指定模子
  
  
  
  

关于模子

• ollama支持的全量模子在这里：https://ollama.com/library
  
• 官方给出的部门模子
  

ModelParametersSize下载下令Llama 38B4.7GBollama run llama3
Llama 370B40GBollama run llama3
:70bPhi-33.8B2.3GBollama run phi3Mistral7B4.1GBollama run mistralNeural Chat7B4.1GBollama run neural-chatStarling7B4.1GBollama run starling-lmCode Llama7B3.8GBollama run codellamaLlama 2 Uncensored7B3.8GBollama run llama2-uncensoredLLaVA7B4.5GBollama run llavaGemma2B1.4GBollama run gemma:2bGemma7B4.8GBollama run gemma:7bSolar10.7B6.1GBollama run solar

• 别的须要留意的是本地内存是否富足，7B参数的模子须要8G内存，13B须要16G内存，33B须要32G内存
  

运行8B的Llama3

• 我的mac条记本内存16G，以是筹划运行8B的Llama3，下令如下
  

1. ollama run llama3

复制代码

• 第一次运行，由于没有模子文件，以是须要下载，等候下载中
  
  
  - 下载完毕后就可以问答了
  

• 退出的方法是输入/bye
  

Linux版本

• 假如操纵体系是Linux，安装下令如下
  

1. curl -fsSL https://ollama.com/install.sh | sh

复制代码

• 安装完成后还要启动
  

1. ollama serve

复制代码

webui

• 假如电脑上装有docker，请实行以下下令来启动ollama的webui
  

1. docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main

复制代码

• 出现登录页面，须要点击右下角的Sign up先注册
  
  
  
  
• 完成注册后，第一次登录会出现特性先容
  
  
  
  
• 可以在这里修改体系语言
  
  
  
  
• 接下来试试谈天功能，先是选择模子，由于刚才已经下载过模子了，这里只要选择即可，如下图
  
  
  
  
• 然后就可以对话了
  
  
  
  
• 在设置页面可以管理模子
  
  
  
  
• 至此，最底子的操纵已经完成，假如您正处于开端实行阶段，盼望本文可以给您一些参考
  

你不孤单，欣宸原创一起相伴

• Java系列
  
• Spring系列
  
• Docker系列
  
• kubernetes系列
  
• 数据库+中央件系列
  
• DevOps系列