DeepSeek离线部署流程(基于Ollama)
https://modelscope.cn/models 搜索带GGUF模型文件,如:DeepSeek-R1-Distill-Llama-8B-GGUF。命令行输入ollama create 模型名称 -f modelfile路径。创建Modelfile文件,内如:FROM gguf文件全路径。命令行输入ollama list查看模型列表。创建一个文件夹,将gguf文件拷贝到此文件夹。点击安装ol
1、下载ollama
https://ollama.com/download
2、下载deepseek离线模型包
https://modelscope.cn/models 搜索带GGUF模型文件,如:DeepSeek-R1-Distill-Llama-8B-GGUF
3、安装ollama
点击安装ollama可执行文件
命令行输入ollama list查看模型列表
4、导入离线模型包
创建一个文件夹,将gguf文件拷贝到此文件夹
创建Modelfile文件,内如:FROM gguf文件全路径
命令行输入ollama create 模型名称 -f modelfile路径
Modefile需要有额外的参数,加入如下参数可与在线安装到达一样的效果,否则会显得有些奇怪:
FROM D:\OllamaModels\DeepSeek-R1-Distill-Qwen-32B-Q5_K_M.gguf
TEMPLATE """{{- if .System }}{{ .System }}{{ end }}
{{- range $i, $_ := .Messages }}
{{- $last := eq (len (slice $.Messages $i)) 1}}
{{- if eq .Role "user" }}<|User|>{{ .Content }}
{{- else if eq .Role "assistant" }}<|Assistant|>{{ .Content }}{{- if not $last }}<|end▁of▁sentence|>{{- end }}
{{- end }}
{{- if and $last (ne .Role "assistant") }}<|Assistant|>{{- end }}
{{- end }}"""
PARAMETER stop <|begin▁of▁sentence|>
PARAMETER stop <|end▁of▁sentence|>
PARAMETER stop <|User|>
PARAMETER stop <|Assistant|>
更多推荐

所有评论(0)