本期先不谈AI底层原理，直接上手用AI。说说如何在本地部署大模型，操作步骤很简单，草履虫都会的那种。以下是本文的目录:

1.安装Ollama

2.下载大模型

3.管理大模型

关于本地部署大模型

瓦特？本地部署大模型？

用电脑和手机APP就可以直接云端调用最强大模型（最大尺寸大模型，性能最强，如DeepSeek-r1:671B），为啥还要费劲在本地部署阉割版大模型（由于个人机器显存有限，只能部署小尺寸大模型，模型性能普通，如Deepseek-r1:1.5B），让人难以理解。

其实本地部署大模型可能有以下场景：

1.对于公司：包括科研机构及涉密单位，团队私有数据是非常重要且不能泄漏的，不方便联网上传内部文本资料,又需要利用大模型辅助科研。

2.对于个人：

您告诉大模型你的职业，习惯，喜好，经历，价值观，甚至问了些令人羞耻的问题时，肯定希望这些信息保存在个人本地的硬件上，而不是交给互联网巨头保存在互联网（联想下平时我们是怎么被打骚扰电话的，别人又是怎么获取的您的号码）。

一句话总结就是：AI平权

您要问我对本地部署大模型的态度，我的答案是：沙壁，云端大模型那么好用还要什么个人隐私。但这并不妨碍我水这篇推文，介绍如何本地部署大模型。

01 本地下载安装Ollama

1.什么是Ollama?

Ollama 是一个开源框架，专为在本地机器上便捷部署和运行大语言模型（LLM）而设计。核心功能是本地模型管理、高效推理、多接口访问、环境变量配置等

2.如何下载Ollama?

登陆官网（https://ollama.com），即可根据个人电脑系统下载ollama。

图片来源：https://ollama.com

安装完成后，Windows系统的盆友，记得点击右下角任务栏的ollama图标，选择“设置-模型下载地址”，修改模型下载地址未非系统盘（C盘，默认模型文件下载在C盘），否则系统盘会被填满，电脑变卡。MacOS系统的盆友不用修改，因为只有一个盘。

图片来源：桌面截图

3.验证Ollama是否安装成功

启动系统终端，执行“ollama -v”命令，如果返回ollama版本号，则安装成功（Windos用户终端调用快捷键Win+R打开运行，输入cmd即可启动终端）

图片来源：桌面截图

至此ollama安装成功。

02 本地下载大模型

1.选择模型

安装好Ollama后，返回Ollama官网，点击models按钮，即可跳转至模型下载界面（无需注册和登录）。

图片来源：https://ollama.com

选择较火的DeepSeek-r1模型，发现有8种模型尺寸可供下载，模型尺寸越大，性能越强，所需要的内存也就越大（我滴妈，deepseek-r1:671b内存占用竟然有惊人的404G，很多人的电脑硬盘也才500G）。

图片来源：https://ollama.com

要下载哪种尺寸的模型，非常有讲究，具体判断依据是您电脑显卡的显存大小（Windows用户按下快捷键Ctrl+Shift+Esc打开任务管理器-选择【性能】-点击左侧【GPU】，可见如“NVIDIA GeForce RTX 3060 显存: 12GB”）。

在《AI笔记02》中，我已经演示过一次如何根据模型尺寸计算显存需求，这里不再计算。这里直接说结论，deepseek-r1:1.5b的模型，一般电脑都能完美运行，7b或8b显存大的盆友可以尝试，14b以上的模型，就不建议下载了，会把电脑累坏（开个玩笑，会报错，无法运行）。

图片来源：百度图片

2.下载模型

复制官网下载命令“ollama run deepseek-r1”，将命令修改为指定的模型尺寸，如“ollama run deepseek-r1:1.5b”。启动终端，执行命令，即可本地下载，等待下载完成即可。

图片来源：https://ollama.com，桌面截图

下载完成后，我问了模型一个非常羞耻的问题，谁是这个世界上最帅的男人，它竟然不会！这也是小尺寸模型的问题，能力没那么强，时不时会抽风。

图片来源：终端截图

其他大模型的配置方式均与上述相同，感兴趣的盆友可以多多下载试用，看看哪个模型最智障。

03 管理本地大模型

管理本地大模型，可以通过终端执行以下命令，还有更多命令可自行探索（命令单词用空格分隔）：

1.查看本地所有模型

ollama list

2.显示模型信息

ollama show deepseek-r1:1.5b

3.删除大模型

ollama rm deepseek-r1:1.5b

4.退出当前模型

control + z

以上是在终端下载管理大模型方法，实际本地部署大模型除了在终端运行外，也可以像在线使用deepseek一样，有个简洁美观的UI交互界面，需要自行安装Web UI，这里就不介绍了，感兴趣的盆友可以摸索一下。

图片来源：https://www.deepseek.com

我们该怎样系统的去转行学习大模型 ？

很多想入行大模型的人苦于现在网上的大模型老课程老教材，学也不是不学也不是，基于此，我用做产品的心态来打磨这份大模型教程，深挖痛点并持续修改了近100余次后，终于把整个AI大模型的学习门槛，降到了最低！

在这个版本当中：

第一不需要具备任何算法和数学的基础
第二不要求准备高配置的电脑
第三不必懂Python等任何编程语言

您只需要听我讲，跟着我做即可，为了让学习的道路变得更简单，这份大模型教程已经给大家整理并打包，现在将这份 LLM大模型资料 分享出来： 😝有需要的小伙伴，可以 扫描下方二维码领取🆓↓↓↓

​

一、大模型经典书籍（免费分享）

AI大模型已经成为了当今科技领域的一大热点，那以下这些大模型书籍就是非常不错的学习资源。

二、640套大模型报告（免费分享）

这套包含640份报告的合集，涵盖了大模型的理论研究、技术实现、行业应用等多个方面。无论您是科研人员、工程师，还是对AI大模型感兴趣的爱好者，这套报告合集都将为您提供宝贵的信息和启示。(几乎涵盖所有行业)

三、大模型系列视频教程（免费分享）

四、2025最新大模型学习路线（免费分享）

我们把学习路线分成L1到L4四个阶段，一步步带你从入门到进阶，从理论到实战。

L1阶段:启航篇丨极速破界AI新时代

L1阶段：我们会去了解大模型的基础知识，以及大模型在各个行业的应用和分析；学习理解大模型的核心原理、关键技术以及大模型应用场景。

L2阶段：攻坚篇丨RAG开发实战工坊

L2阶段是我们的AI大模型RAG应用开发工程，我们会去学习RAG检索增强生成：包括Naive RAG、Advanced-RAG以及RAG性能评估，还有GraphRAG在内的多个RAG热门项目的分析。

L3阶段：跃迁篇丨Agent智能体架构设计

L3阶段：大模型Agent应用架构进阶实现，我们会去学习LangChain、 LIamaIndex框架，也会学习到AutoGPT、 MetaGPT等多Agent系统，打造我们自己的Agent智能体。

L4阶段：精进篇丨模型微调与私有化部署

L4阶段：大模型的微调和私有化部署，我们会更加深入的探讨Transformer架构，学习大模型的微调技术，利用DeepSpeed、Lamam Factory等工具快速进行模型微调。

L5阶段：专题集丨特训篇 【录播课】

全套的AI大模型学习资源已经整理打包，有需要的小伙伴可以微信扫描下方二维码，免费领取

​