在 Ollama 中运行自己微调的 GGUF 模型

本文档介绍如何将本地微调好的 GGUF 格式模型（例如 LLaMA、Qwen、Mistral 等）加载到 Ollama 并运行。

---

1. 准备模型文件

• 确保你已经有一个微调好的 .gguf 模型文件，例如：

\~/my\_ollama\_models/qwen3-14b-finetuned.gguf

• 路径可以放在：
• Ollama 默认目录（如 ~/.ollama/models 或 /var/snap/ollama/common/models/blobs）
• 或自己新建的目录（推荐），例如 ~/my_ollama_models/

---

2. 创建 Modelfile

在同级目录下新建一个文件 Modelfile，内容如下：

from /home/yourname/my_ollama_models/qwen3-14b-finetuned.gguf

system """
你是一个专业的助手
"""

template """
用戶: {{ .Prompt }}
助手:
"""

parameter temperature 0.7
parameter top_p 0.9

说明：

• from → 指定本地 gguf 模型路径
• system → 定义系统角色（模型身份）
• template → 定义对话格式（如何组织提示词）
• parameter → 设置推理参数

---

3. 使用 Ollama 注册模型

在 Modelfile 所在目录运行：

ollama create myqwen -f Modelfile

这样就会创建一个名为 myqwen 的模型。

---

4. 运行自定义模型

启动推理：

ollama run myqwen

---

5. 常用调优方法

• 修改 parameter 控制生成效果，例如：

  parameter temperature 0.5
  parameter num_ctx 4096
  parameter top_k 50
  

• 可以在 system 里定义更多身份设定，例如：

  system """
  你是一位農場管理顧問，擅長給出豬舍與牛舍環境控制的建議。
  """
  

---

6. 模型管理

• 查看本地已有模型：

  ollama list
  

• 删除自定义模型：

  ollama rm myqwen
  

• 如果需要迁移，只需复制 gguf 文件 + Modelfile 到新环境，再 ollama create 即可。

---

✅ 总结

1. 准备好 .gguf 模型文件
2. 写一个 Modelfile 指定路径和推理参数
3. 用 ollama create 注册
4. 用 ollama run 调用

这样你就能在 Ollama 中运行自己微调的大模型，并像官方模型一样使用了。