Ubuntu 24.04上报：Error: could not connect to ollama app, is it runnin

一、问题现象

在 Ubuntu 上把 Ollama 的监听端口改掉之后，再执行 ollama ps 或 ollama list 会报：

Error: could not connect to ollama app, is it running?

但用 sudo systemctl status ollama 查看，服务明明是 active (running) 的，让人以为是 Ollama 的 bug。

二、根因

Ollama 的命令行工具（ollama 客户端）默认连接的是 127.0.0.1:11434。一旦你在 service 文件里把 OLLAMA_HOST 改成了别的端口（例如 0.0.0.0:10001），客户端不知道新端口，自然连不上服务端。

三、解决办法：给命令带上端口

临时生效，每次执行前加一个环境变量即可：

OLLAMA_HOST=127.0.0.1:10001 ollama list
OLLAMA_HOST=127.0.0.1:10001 ollama ps
OLLAMA_HOST=127.0.0.1:10001 ollama run qwen2:72b

想永久生效，就把端口写进 service 文件，并保持一致：

[Unit]
Description=Ollama Service
After=network-online.target

[Service]
ExecStart=/usr/local/bin/ollama serve
User=ollama
Group=ollama
Restart=always
RestartSec=3
Environment="PATH=/usr/local/sbin:/usr/local/bin:/usr/sbin:/usr/bin:/sbin:/bin"
Environment="OLLAMA_HOST=0.0.0.0:10001"
Environment="OLLAMA_KEEP_ALIVE=1h"
Environment="OLLAMA_NUM_PARALLEL=5"

[Install]
WantedBy=default.target

改完别忘了重新加载并重启：

sudo systemctl daemon-reload
sudo systemctl restart ollama

四、一个容易被忽略的点

修改并发数（OLLAMA_NUM_PARALLEL）后，已加载到显存的模型占用也会变。比如同一个 qwen2:72b，并发调高后 CPU/GPU 占用比例和总大小都会变化，这是正常的，重启服务后重新加载模型即可。

qidao123.com企服评测-应用市场 编辑提示：OLLAMA_HOST=0.0.0.0:端口 会把服务暴露到所有网卡，公网机器务必配合防火墙白名单，避免模型服务被任意访问；纯本地使用建议只绑 127.0.0.1。