分享记录一下本地部署大模型步骤。
大模型应用部署可以选择 ollama 或者 LM Studio。本文介绍ollama本地部署
ollama官网为:https://ollama.com/
进入官网,下载ollama。
在这里插入图片描述

ollama是一个模型管理工具和平台,它提供了很多国内外常见的模型,我们可以在其官网上搜索自己需要的模型:
https://ollama.com/search
在这里插入图片描述
案例以deepseek-r1 为模型。
在ollama会给出运行模型的命令
在这里插入图片描述
下载完成ollama后,进行运行deepseek模型

ollama run deepseek-r1:7b

在这里插入图片描述
至此,就可以本地模型进行聊天了。
在这里插入图片描述
退出聊天
在这里插入图片描述

Logo

有“AI”的1024 = 2048,欢迎大家加入2048 AI社区

更多推荐