安装ollama

ollama --version # 显示版本号即安装成功
sudo systemctl start ollama # 运行
ollama serve # 启动

运行模型

1. 在modelscope下载bge-m3-GGUF

2. 在模型文件夹里生成Modelfile

cat > /真实路径/bge-m3-GGUF/Modelfile << 'EOF'
FROM /真实路径/bge-m3-GGUF/bge-m3-FP16.gguf
EOF

3. 导入时-f指向对应位置

ollama create bge-m3-local -f /真实路径/bge-m3-GGUF/Modelfile

4. 验证embedding接口

curl -s http://127.0.0.1:11434/api/embed -d '{"model":"bge-m3-local","input":"测试文本"}' | head -c 200
# 期望返回含 "embeddings":[[...]]的JSON

简单的方法：ollama自行下载模型

ollama pull bge-m3