零基础入门本地大模型学习，从认识大模型开始（Ollama、LangChain、大模型参数、微调等），从基础概念到实操落地，循序渐进讲解，重点解决“本地跑模型”“用模型做应用”两大核心需求，全程贴合实际使用场景，避免复杂冗余，让你快速掌握本地AI的核心能力。

第一章 基础认知：搞懂本地大模型核心概念

在动手操作前，先理清核心术语和逻辑，避免踩坑。本章内容均为前期重点讨论的核心知识点，浓缩精华，重点记忆即可。

1.1 核心基础术语（必记）

• LLM（大语言模型）：基于Transformer架构，用海量文本训练，擅长理解、生成自然语言和逻辑推理的AI模型（如DeepSeek-R1、Llama3），是所有操作的核心。
• 参数（权重Weight）：神经网络中神经元之间的连接数值，是大模型“知识、逻辑、规律”的唯一存储载体，参数越多，模型推理能力、知识储备越强（单位：B=十亿，如7B、13B、70B）。
• 预训练（Pretrain）：大模型的“基础学习阶段”，用全网海量数据训练，初始化全部参数，学会通用语言、常识、基础逻辑（相当于人“读万卷书”）。
• 微调（Fine-Tune）：在预训练模型基础上，用小范围定制数据（如对话、代码）小幅修正参数，让模型适配特定场景（相当于人“岗前培训”），本地常用LoRA轻量微调（不遗忘原有知识，成本低）。
• 推理（Inference）：模型训练完成后，接收用户输入、计算并生成回答的过程（日常提问、聊天都属于推理）。
• 量化（Quantization）：降低参数精度（4bit/8bit），减小电脑显存占用，让普通消费级显卡也能跑本地模型，轻微损失推理效果（Ollama默认自动量化）。

1.2 核心工具定位（分清“谁做什么”）

前期最易混淆的两个工具：Ollama和LangChain

核心分工一句话分清：Ollama管“跑模型”，LangChain管“用模型做高级应用”

具体区别如下：

工具	核心定位	核心作用	是否必备（本地使用）
Ollama	本地大模型运行/管理工具（不是模型本身）	下载、启动、量化模型，提供本地API接口，让模型在电脑上跑起来	是（必装）
LangChain	大模型应用开发框架	给模型加记忆、知识库、工具调用等高级功能，开发定制化AI应用	否（仅进阶开发用）

1.3 补充关键概念

• Agent（智能体）：具备自主规划、拆解任务、主动调用工具的AI主体（如Claude Code），LangChain可快速搭建。
• RAG（检索增强生成）：先检索私有文档（PDF、本地文件），再让模型基于文档回答，解决模型“幻觉”“不懂私有知识”的问题。
• Prompt（提示词）：用户输入给模型的指令、问题，决定模型的输出方向，LangChain可通过模板统一管理。

第二章 实操落地：本地大模型部署（Ollama实战）

本章核心：学会用Ollama在本地部署、运行大模型（以DeepSeek-R1为例，你前期常用的模型），全程实操，步骤清晰，小白可直接跟着做。

2.1 前期准备（必做）

2.1.1 硬件要求（关键）

本地跑模型的核心限制是显存，不同参数模型对应不同配置，按需选择（新手优先7B/13B模型，推荐deepeekv1-1.8B模型开始）：

• 7B模型：轻薄本/集显可跑（最低要求，适合日常聊天、简单问答）
• 13B模型：独显6G~8G显存（适合本地代码开发、轻度推理）
• 34B/70B模型：12G+显存（适合复杂推理、专业场景，如DeepSeek-R1高阶版）

2.1.2 软件安装（Ollama）

跨平台支持（Windows/macOS/Linux），安装步骤极简：

1. 访问Ollama官方网站（https://ollama.com/），下载对应系统的安装包；
2. 双击安装，全程默认下一步（安装完成后，自动启动后台服务）；
3. 打开终端（Windows用CMD/PowerShell，macOS用终端），输入ollama –version，显示版本号即安装成功。 2.2 Ollama核心操作（高频命令） 所有操作均在终端执行，记住以下5个高频命令，就能满足日常使用需求（重点练习前3个）：
4. 拉取模型：从云端下载模型到本地（首次使用需下载，耗时取决于网络）
   命令：ollama pull deepseek-r1（拉取你常用的DeepSeek-R1模型，其他模型可替换名称，如llama3、qwen）
5. 运行模型：启动本地模型，进入对话模式
   命令：ollama run deepseek-r1（启动后可直接输入问题，如“什么是大模型参数”，模型实时回答）
6. 绑定工具运行：将模型与第三方工具绑定（如Claude Code，你前期用到的命令） 命令：ollama launch claude –model deepseek-r1（启动Claude Code，底层用DeepSeek-R1模型，可做本地代码开发）
7. 查看本地模型：查看已下载的所有模型
   命令：ollama list
8. 启动本地API服务：让LangChain等框架调用本地模型
   命令：ollama serve（默认端口11434，启动后可通过API调用模型）

2.3 常见问题排查（新手必看）

• 问题1：拉取模型失败 → 检查网络，更换网络后重新执行pull命令；
• 问题2：运行模型提示显存不足 → 更换更小参数模型（如7B），或重启电脑释放显存；
• 问题3：终端输入ollama无反应 → 重启Ollama后台服务（重启电脑即可）。

书籍PDF及配套代码可点赞文章后添加小助手获取

第三章 进阶提升：用LangChain给模型加高级功能

本章核心：当你满足于“本地聊天”，想做更高级的应用（如私人知识库、自动工具调用）时，学习LangChain的使用，重点讲解它如何“包装”Ollama模型，补齐原生模型的短板。

3.1 前提准备

1. 已安装Python（3.8+），并配置好环境；
2. 安装LangChain库，终端执行命令：pip install langchain；
3. 确保Ollama已启动（后台运行，可通过ollama serve启动API服务）。

3.2 LangChain核心功能实操（4个高频场景）

LangChain的核心是“拼接、调度、控制”，以下4个场景是最常用的高级功能，结合代码示例，直观看懂它的作用。

场景1：给模型加“长期记忆”（多轮对话）

原生Ollama模型聊完就忘，LangChain通过Memory组件保存对话历史，实现多轮记忆。
1. 导入所需组件

from langchain.llms import Ollama 
from langchain.chains import ConversationChain 
from langchain.memory import ConversationBufferMemory

2.连接本地Ollama的DeepSeek-R1模型

llm = Ollama(model=“deepseek-r1”)

3. 配置对话记忆（保存历史聊天记录）

memory = ConversationBufferMemory()

4. 组装对话链路

conversation = ConversationChain(llm=llm, memory=memory)

5. 开始多轮对话

print(conversation.run(“什么是大模型参数？”)) 
print(conversation.run(“它是如何被微调的？”))  # 模型会记住上一个问题，连贯回答

原理：LangChain自动拼接“历史对话+当前问题”，生成完整提示词发给模型，让模型“误以为”自己有记忆。

场景2：给模型加“本地知识库”（RAG基础）

让模型能读取你的本地文档（TXT/PDF），基于私有资料回答问题，解决模型“不懂私人知识”的问题（需额外安装依赖：pip install pypdf sentence-transformers chromadb）。

1. 导入所需组件

from langchain.llms import Ollama 
from langchain.document_loaders import TextLoader 
from langchain.embeddings import HuggingFaceEmbeddings from langchain.vectorstores import Chroma from langchain.chains import RetrievalQA

2. 连接本地模型

llm = Ollama(model=“deepseek-r1”)

3. 读取本地文档（以TXT为例，PDF替换为PyPDFLoader）

loader = TextLoader(“你的本地文档路径.txt”) 
documents = loader.load_and_split()  # 切割文档为小块

4. 文档转为向量，存入向量数据库

embeddings = HuggingFaceEmbeddings() 
vector_db = Chroma.from_documents(documents, embeddings)

5. 组装RAG链路（检索+问答）

rag_chain = RetrievalQA.from_chain_type(llm=llm, chain_type=“stuff”, retriever=vector_db.as_retriever())

6. 提问（模型会基于本地文档回答）

print(rag_chain.run(“请总结这份文档的核心内容？”))

原理：先将本地文档转为向量存入数据库，用户提问时，先检索相似文档片段，再将片段+问题一起喂给模型，让模型基于真实资料回答。

场景3：给模型加“工具调用能力”

（简单Agent） 让模型能主动调用外部工具（如计算器、文件读取），实现“自动干活”（以调用计算器为例）。

1. 导入所需组件

from langchain.llms import Ollama 
from langchain.tools import CalculatorTool 
from langchain.agents import initialize_agent, AgentType

2. 连接本地模型

llm = Ollama(model=“deepseek-r1”)

3. 定义工具（这里用计算器工具，可添加其他工具如文件读取）

tools = [CalculatorTool()]

4. 初始化Agent（智能体）

agent = initialize_agent(tools, llm, agent=AgentType.ZERO_SHOT_REACT_DESCRIPTION, verbose=True)

书籍PDF及配套代码可点赞文章后添加小助手获取

5. 下达复杂任务（模型会自动调用计算器）

agent.run(“计算3.14乘以10的平方，再加上56.78”)

原理：LangChain让模型“思考”是否需要调用工具，生成工具调用指令，框架执行指令后，将结果返回给模型，循环直到完成任务。

场景4：统一切换模型（Ollama/云端模型）

LangChain提供统一接口，切换模型只需改一行代码，上层逻辑不变（如从Ollama切换到云端模型）。

切换前（Ollama本地模型）

llm = Ollama(model=“deepseek-r1”)

切换后（云端模型，需配置APIKey）

from langchain.llms import OpenAI 
llm = OpenAI(api_key=“你的APIKey”, model=“gpt-3.5-turbo”)

上层对话、RAG等逻辑完全不变，直接复用

3.3 核心原理总结

LangChain本身不生成内容，它的核心逻辑是：在用户和大模型之间加一层“中间调度层”，通过拼接提示词、调度工具、管理数据，把原生模型的“单一对话能力”，扩展为“多轮记忆、知识库、工具调用、复杂任务处理”的高级能力，本质是“用代码包装模型，放大模型价值”。

第四章 深入理解：大模型底层逻辑（补充提升）

本章补充前期讨论的核心底层问题，帮你从“会用”升级为“懂原理”，避免只知其然不知其所以然。

4.1 为什么知识、逻辑能固化在参数中？

核心结论：知识、逻辑本质是“现实世界重复出现的稳定规律”，大模型通过海量文本训练，不断调整参数（权重数值），将这些规律（如“地球绕太阳转”“A>B，B>C则A>C”）拟合、记录在参数中，无需手写规则，参数就是模型的“知识载体”。

类比：人类通过反复观察、学习，将规律记在大脑神经连接中；大模型则将规律记在参数（权重）中，推理时通过参数矩阵计算，唤醒这些隐藏规律。

4.2 大模型参数是如何微调的？

微调的核心是“小幅修正参数，提升特定能力”，全程基于数学优化，步骤如下：

1. 输入微调数据（如“提问+标准答案”），模型做前向计算，给出初始预测结果；
2. 计算“预测结果与标准答案的误差”（损失值Loss），误差越大，需要修正的幅度越大；
3. 通过反向传播算法，计算每个参数对误差的贡献度（梯度），知道“哪些参数导致错误”；
4. 按学习率（控制修改幅度），微量调整参数数值，重复迭代成千上万次，直到模型输出符合预期。 本地常用LoRA微调：冻结原模型99%的参数，只训练少量附加小矩阵，成本低、不遗忘原有知识，适合个人/小团队定制模型。

5. 书籍PDF及配套代码可点赞文章后添加小助手获取

   

4.3 关键区别：预训练 vs 微调 vs 量化

• 预训练：学通用知识，改全部参数，是模型的“基础”；
• 微调：学专项能力，改部分参数，是模型的“优化”；
• 量化：降参数精度，不改参数本身，是为了“适配本地硬件”。

第五章 学习路径与实战建议（收尾）

5.1 新手学习路径（按优先级排序）

1. 基础阶段：掌握Ollama核心操作，能本地跑通DeepSeek-R1等模型，完成日常对话、简单问答；
2. 进阶阶段：学习LangChain基础功能，实现多轮对话、本地知识库（RAG），能独立写简单代码；
3. 深入阶段：了解微调（LoRA）、Agent智能体、向量数据库，尝试定制自己的模型和应用；
4. 实战阶段：结合自身需求，做一个完整应用（如私人文档问答助手、本地代码助手）。

5.2 实战建议（贴合你的使用场景）

• 优先练熟Ollama命令，重点掌握pull、run、launch三个命令，能轻松切换不同模型；
• LangChain从“多轮记忆”和“RAG知识库”入手，这两个场景最实用，也是入门最容易的；
• 结合DeepSeek-R1模型（强推理），尝试用LangChain+Ollama做本地代码助手，贴合你前期的使用需求；
• 遇到问题先排查：Ollama是否启动、模型是否下载成功、依赖是否安装齐全，新手不用纠结底层源码，先“会用”再“深究”。

5.3 补充资源

• Ollama官方文档：https://ollama.com/docs（查看更多命令和模型）；
• LangChain官方文档：https://python.langchain.com/docs（详细教程和组件说明）；
• 模型资源：Ollama官方模型库（直接pull即可使用，包含DeepSeek、Llama3等热门模型）。

本教程已覆盖前期所有讨论内容，从基础概念到实操落地，再到进阶提升，全程贴合本地大模型的学习轨迹。跟着教程一步步练习，就能快速掌握本地AI的核心能力，后续可根据自身需求，深入学习微调、Agent等更高级的内容。

书籍PDF及配套代码可点赞文章后添加小助手获取