自从DeepSeek R1出来以后,基本上给替代了。经过对比,DeepSeek是能够满足日常使用的,并且还说免费,你说香不香

图片

可能是全球爆火,用的人太多了,并且也经常被攻击,所以DeepSeek经常出现用不了的情况。

好在官方知道这个情况,所以直接王炸开源,把模型丢给你,让咱们自己来玩

图片

那么既然这样,今天的教程,果核就手把手教大家,如何本地部署大模型,实现大模型自由。

图片

本教程直接使用最简单的方案,图形化程序一步一步的教大家完成。所有的资源,都在末尾下载地址给打包了。

图片

1、可视化程序安装

图片

目前针对大模型,有很多的程序可以直接使用。本教程使用比较简单的程序,LM Studio来做演示。

LM Studio是一款通用的模型调用工具,集成了环境,只要一个软件,就能直接使用开源模型的文件。

图片

下载安装很简单,并且果核上还有windows绿色版本,可以根据自己的环境来选择。

下载以后,第一次打开是英文的。先点击右上角的跳过介绍。

图片

图片

然后,点击右下角的设置图标。

图片

在语言里面,找到简体中文即可将程序切换成中文。

图片

软件是一个空壳的,没有任何模型,需要我们自己下载模型。

图片

软件的发现里面有模型选择,但是需要代理的,速度非常慢。果核会给大家提供网盘和其他的下载地址。

图片

图片

2、模型选择

图片

虽然说都叫R1模型,但是模型也分成很多个版本。根据自己的电脑显卡配置选择。

图片

其中,1.5B的模型,体积只有1.8G,基本上所有电脑都可以跑。可以先下载来体验一下。

下载好以后,选择一个空间比较大的目录,例如D盘根目录,创建一个文件夹,不要有空格和中文。你可以像果核这样,在D盘创建一个ai的文件夹,并且在ai目录下,创建一个名为module的目录。

图片

图片

然后,把下载的模型文件,按照名称命名,1.5B的这个目录下,果核就放的是模型“DeepSeek-R1-Distill-Qwen-1.5B-Q8_0.gguf”

图片

接下来,点击侧边的文件夹,然后更改一下模型目录。这个时候,就选择根目录,D:\ai。

至于为什么要这么做,软件是只能识别2级目录,也就是说,你选择的模型目录,模型文件要有2级目录,否则软件不能正常识别。

图片

设置好以后,就能在软件里面,看到模型了

图片

图片

接下来,在聊天的页面,选择要用的模型即可。

图片

图片

可以根据需要,配置一些模型参数,也可以直接点击加载模型

图片

至此,加载成功后,模型就能正常的使用了。

图片

阿里做了一个模型站,上面有各种各样的模型可以下载。大家可以根据自己的喜好,来选择模型。

图片

最后,再附上所有资料下载地址

https://pan.quark.cn/s/07d2fe54607e

图片

最后的最后,再B几句,本地部署的大模型,只能将就用用,问一些常见的问题,如果不是怕泄露隐私,还是建议使用在线的版本。因为我们本地是跑不了在线版本的大模型的,光显存就可能要几个T,一般家庭是玩不转的,所以就没那么聪明。

图片

如何学习AGI大模型?

作为一名热心肠的互联网老兵,我决定把宝贵的AI知识分享给大家。 至于能学习到多少就看你的学习毅力和能力了 。我已将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

因篇幅有限,仅展示部分资料,需要点击下方链接即可前往获取

**

一、2025最新大模型学习路线

一个明确的学习路线可以帮助新人了解从哪里开始,按照什么顺序学习,以及需要掌握哪些知识点。大模型领域涉及的知识点非常广泛,没有明确的学习路线可能会导致新人感到迷茫,不知道应该专注于哪些内容。

我们把学习路线分成L1到L4四个阶段,一步步带你从入门到进阶,从理论到实战。

L1级别:AI大模型时代的华丽登场

L1阶段:我们会去了解大模型的基础知识,以及大模型在各个行业的应用和分析;学习理解大模型的核心原理,关键技术,以及大模型应用场景;通过理论原理结合多个项目实战,从提示工程基础到提示工程进阶,掌握Prompt提示工程。

L2级别:AI大模型RAG应用开发工程

L2阶段是我们的AI大模型RAG应用开发工程,我们会去学习RAG检索增强生成:包括Naive RAG、Advanced-RAG以及RAG性能评估,还有GraphRAG在内的多个RAG热门项目的分析。

L3级别:大模型Agent应用架构进阶实践

L3阶段:大模型Agent应用架构进阶实现,我们会去学习LangChain、 LIamaIndex框架,也会学习到AutoGPT、 MetaGPT等多Agent系统,打造我们自己的Agent智能体;同时还可以学习到包括Coze、Dify在内的可视化工具的使用。

L4级别:大模型微调与私有化部署

L4阶段:大模型的微调和私有化部署,我们会更加深入的探讨Transformer架构,学习大模型的微调技术,利用DeepSpeed、Lamam Factory等工具快速进行模型微调;并通过Ollama、vLLM等推理部署框架,实现模型的快速部署。

整个大模型学习路线L1主要是对大模型的理论基础、生态以及提示词他的一个学习掌握;而L3 L4更多的是通过项目实战来掌握大模型的应用开发,针对以上大模型的学习路线我们也整理了对应的学习视频教程,和配套的学习资料。

二、大模型经典PDF书籍

书籍和学习文档资料是学习大模型过程中必不可少的,我们精选了一系列深入探讨大模型技术的书籍和学习文档,它们由领域内的顶尖专家撰写,内容全面、深入、详尽,为你学习大模型提供坚实的理论基础(书籍含电子版PDF)

三、大模型视频教程

对于很多自学或者没有基础的同学来说,书籍这些纯文字类的学习教材会觉得比较晦涩难以理解,因此,我们提供了丰富的大模型视频教程,以动态、形象的方式展示技术概念,帮助你更快、更轻松地掌握核心知识

四、大模型项目实战

学以致用 ,当你的理论知识积累到一定程度,就需要通过项目实战,在实际操作中检验和巩固你所学到的知识,同时为你找工作和职业发展打下坚实的基础。

五、大模型面试题

面试不仅是技术的较量,更需要充分的准备。

在你已经掌握了大模型技术之后,就需要开始准备面试,我们将提供精心整理的大模型面试题库,涵盖当前面试中可能遇到的各种技术问题,让你在面试中游刃有余。


因篇幅有限,仅展示部分资料,需要点击下方链接即可前往获取

Logo

有“AI”的1024 = 2048,欢迎大家加入2048 AI社区

更多推荐