Ollama两步本地部署AI模型
0基础简单两步教你本地部署大模型
·
第一步 下载ollama
去 Ollama 下载ollama
第二步 下载模型
首先要选择合适自己硬件的模型,下面有参考图

选完模型直接去终端运行语句
ollama run
后面接上你想要的模型,如果本地之前没下过模型那么就会开始下载
比如我想下个14B的
ollama run deepseek-r1:14b
(其实正宗下载模型的语句是 ollama pull)
其他ollama可用语句
1.查看已下载模型
ollama list
2.删除模型
ollama rm <模型名称>
3.退出对话
/bye
4.保存对话记录
/save <文件名>
5. 调整生成参数
ollama run llama2 --temperature 0.7 --top_p 0.9
temperature:控制随机性(0-1,值越大越随机)
top_p:控制生成多样性(0-1,值越小越保守)
6. 自定义模型配置
ollama create <自定义模型名> -f Modelfile
7.启动本地 API 服务
a.本地
ollama serve
b.API接口
curl http://localhost:11434/api/generate -d '{
"model": "llama2",
"prompt": "Hello!"
}'
更多推荐


所有评论(0)