1、下载ollama
    https://ollama.com/download
2、下载deepseek离线模型包
    https://modelscope.cn/models 搜索带GGUF模型文件,如:DeepSeek-R1-Distill-Llama-8B-GGUF
3、安装ollama
    点击安装ollama可执行文件
    命令行输入ollama list查看模型列表
4、导入离线模型包
    创建一个文件夹,将gguf文件拷贝到此文件夹
    创建Modelfile文件,内如:FROM gguf文件全路径
    命令行输入ollama create 模型名称 -f modelfile路径

Modefile需要有额外的参数,加入如下参数可与在线安装到达一样的效果,否则会显得有些奇怪:
FROM D:\OllamaModels\DeepSeek-R1-Distill-Qwen-32B-Q5_K_M.gguf
TEMPLATE """{{- if .System }}{{ .System }}{{ end }}
{{- range $i, $_ := .Messages }}
{{- $last := eq (len (slice $.Messages $i)) 1}}
{{- if eq .Role "user" }}<|User|>{{ .Content }}
{{- else if eq .Role "assistant" }}<|Assistant|>{{ .Content }}{{- if not $last }}<|end▁of▁sentence|>{{- end }}
{{- end }}
{{- if and $last (ne .Role "assistant") }}<|Assistant|>{{- end }}
{{- end }}"""
PARAMETER stop <|begin▁of▁sentence|>
PARAMETER stop <|end▁of▁sentence|>
PARAMETER stop <|User|>
PARAMETER stop <|Assistant|>

Logo

有“AI”的1024 = 2048,欢迎大家加入2048 AI社区

更多推荐