摆设Ollama（在LInux上举行摆设）

Ollama 简介

Ollama 是一款开源工具，用于简化大语言模型（LLM）在本地机器的部署与运行。它把模型权重、配置和数据统一封装为 Modelfile，让开发者无需关注底层推理细节即可快速运行 Llama、通义千问等模型，并提供丰富的 API 与命令行工具。

主要特点包括：一站式模型管理、支持热加载切换模型、内置多模型库、跨平台（Mac/Windows/Linux）、依赖精简、资源占用低（支持纯 CPU 与 Apple Silicon）。

方式一：使用预下载的安装包

若已提前下载好 ollama-linux-amd64.tgz（例如放在 /root/resource 目录），直接解压安装：

tar -C /usr -xzf ollama-linux-amd64.tgz

安装后用版本命令验证：

ollama -v

若提示 "could not connect to a running Ollama instance"，说明命令行已就位，只是服务尚未启动，属正常现象。

配置开机自启服务

创建 systemd 服务文件 /etc/systemd/system/ollama.service：

[Unit]
Description=Ollama Service
After=network-online.target

[Service]
ExecStart=/usr/bin/ollama serve
User=root
Group=root
Restart=always
RestartSec=3

[Install]
WantedBy=default.target

加载并启动服务：

sudo systemctl daemon-reload
sudo systemctl enable ollama
sudo systemctl start ollama

方式二：一键安装

curl -fsSL https://ollama.com/install.sh | sh

拉取并运行模型

服务启动后，可直接从 Ollama 模型库拉取模型（例如通义千问）并在本地运行。具体模型名称可在 Ollama 官网查询后通过命令行拉取。

qidao123.com企服评测-应用市场 编辑提示：Ollama 默认仅在本地监听，若需对外提供服务请自行配置反向代理与访问控制，避免模型接口暴露到公网。