问题描述

应用程序调用本地部署的 Ollama 大模型时,返回错误:

Error Message: Ollama API请求失败: 404 Not Found

环境信息

  • 系统:Linux
  • 大模型框架:Ollama
  • 预期API端口:11434

排查过程

1. 检查 Ollama 服务状态

systemctl status ollama

确认服务是否正常运行。如果服务未运行,使用以下命令启动:

sudo systemctl start ollama
sudo systemctl enable ollama  # 设置开机自启

2. 检查实际监听端口

sudo netstat -tlnp | grep ollama
# 或
sudo ss -tlnp | grep ollama

发现关键问题Ollama 没有监听在默认的 11434 端口,而是监听在其他端口(如 127.0.0.1:44431)

3. 修复监听端口配置

方法一:通过环境变量设置(推荐)
# 停止服务
sudo systemctl stop ollama

# 编辑服务配置
sudo systemctl edit ollama.service

在编辑器中添加以下内容:

[Service]
Environment="OLLAMA_HOST=0.0.0.0:11434"

保存后执行:

sudo systemctl daemon-reload
sudo systemctl start ollama

提示:或更改应用程序的端口为ollama实际监听的端口


4. 验证端口监听

再次检查端口监听情况:

sudo netstat -tlnp | grep :11434

确认 Ollama 现在正在监听 11434 端口。

5. 验证Ollama API可达性

使用curl命令测试Ollama API是否可用:

curl -X POST http://localhost:11434/api/generate -d '{
  "model": "模型名称",
  "prompt": "你好"
}'

在这里插入图片描述

Logo

有“AI”的1024 = 2048,欢迎大家加入2048 AI社区

更多推荐