本文详细介绍了如何在本地机器上部署和运行大语言模型（LLM）。首先，通过安装Ollama工具，用户可以便捷地在本地环境中部署LLM。接着，文章提供了使用Docker部署Ollama的详细步骤，并介绍了如何拉取和运行模型。此外，还讨论了如何使用Open WebUI进行本地部署，以提供更友好的交互界面。最后，文章介绍了如何使用AnythingLLM构建私有ChatGPT，实现本地私人知识库的构建。通过这些步骤，即使是小白程序员也能轻松入门大模型的学习和应用。

前排提示，文末有大模型AGI-CSDN独家资料包哦！

Ollama

首先需要安装 ollama，ollama 是一个专门在本地机器上便捷部署和运行 LLM 而设计的开源工具

官网地址：ollama.org.cn/

安装 ollama

下载地址：ollama.org.cn/download

也可以借助 docker，以下是 docker 部署 ollama方案：

# 拉取 Ollama Docker 镜像
docker pull ollama/ollama:latest

# 创建容器（需要映射目录，比如我这是：D:\ollama）
docker run -d -v D:\ollama:/root/.ollama -p 11434:11434 --name ollama ollama/ollama
# 在浏览器中打开：http://localhost:11434/ 就会出现 Ollama is running 即表示 ollama 启动成功
# 下载并运行模型 deepseek-r1
docker exec -it ollama ollama run deepseek-r1:1.5b

运行成功后就会出现如下交互界面：

常用命令

启动 ollama

ollama serve

查看版本

ollama -v

查看本地大模型列表

ollama list

拉取模型

ollama 模型地址：ollama.org.cn/search

ollama pull deepseek-r1:1.5b

运行大模型

根据个人电脑配置，选择合适的大模型，运行成功后，默认端口为·：http://localhost:11434

ollama run deepseek-r1:1.5b

删除本地大模型

ollama rm deepseek-r1:1.5b

复制模型

ollama cp deepseek-r1:1.5b my-deepseek

显示模型信息

ollama show deepseek-r1:1.5b

查看当前正在运行的模型

ollama ps

停止当前正在运行的模型

ollama stop deepseek-r1:1.5b

Open WebUI

ollama 自带的交互界面不够友好直观，可以选择使用开源的可视化 AI 界面工具进行本地部署，这类工具集成了问答交互、模型切换、聊天记录、信息检索等诸多功能，小编这里选择的是 open webui

官网地址：docs.openwebui.com/

仓库地址：github.com/open-webui/…

这里部署方式采用以下两种：

docker 部署

# 拉取 open webui 镜像
docker pull ghcr.io/open-webui/open-webui:main

# 运行容器成功后，在浏览器中打开：http://localhost:3000/
docker run -d -p 3000:8080 -v open-webui:/app/backend/data --name open-webui ghcr.io/open-webui/open-webui:main

在浏览器中打开：http://localhost:3000/，即可看到如下界面：

创建管理员账号

进行对话

手动安装

这里采用 python 安装部署方式，使用 pip 库管理工具

# 安装 open-webui
pip install open-webui

# 运行 open-webui，运行成功后，在浏览器中打开：http://localhost:8080/
open-webui serve

Pyenv Win

在安装 open webui 时，它指定 python 的版本需要高于3.11，由于早期电脑上安装的 python 版本过低，使用 pyenv-win 这个 python 管理工具进行本地 python 版本的切换，类似于 node 的管理工具 nvm，以下是其安装及使用方法：

官网地址：pyenv-win.github.io/pyenv-win/

仓库地址：github.com/pyenv-win/p…

安装 pyenv-win

打开 PowerShell，输入以下命令即可：

Invoke-WebRequest -UseBasicParsing -Uri "https://raw.githubusercontent.com/pyenv-win/pyenv-win/master/pyenv-win/install-pyenv-win.ps1" -OutFile "./install-pyenv-win.ps1"; &"./install-pyenv-win.ps1"

关闭窗口重新打开一个新的 PowerShell 窗口，检查 pyenv-win是否安装成功：

pyenv --version
# pyenv 3.1.1

除此之外还可以拉取源码进行安装使用，方法如下：

1. 在相应文件目录下拉取源代码

git clone git@github.com:pyenv-win/pyenv-win.git

2. 添加系统环境变量 PYENV

## 环境名
PYENV

# 环境值
D:\Tools\pyenv\pyenv-win

3. 添加系统 PATH 变量

%PYENV%\bin%PYENV%\shims

常用命令

# 查看 pyenv 版本
pyenv --version

# 查看已经安装好的 python 版本
pyenv versions

# 列出可以安装的 python 版本
pyenv install --list

# 安装指定 python 版本
pyenv install 3.12.0

 # 卸载
pyenv uninstall 3.12.0      

# 设置特定 python 版本影响范围为全局
pyenv global 3.12.0

 # local仅对当前目录及子目录生效，告诉当前目录使用版本3.8.2
pyenv local 3.12.0

# 重建环境变量，每当你增删 Python 版本或带有可执行文件的包（如 pip）以后，都应该执行一次本命令
pyenv rehash

设置 pyenv-win 镜像源

pyenv-win 国内下载 python 慢，可设置镜像源，加速 python 的下载速度

1. 添加系统环境变量 PYTHON_BUILD_MIRROR_URL

# 变量名
PYTHON_BUILD_MIRROR_URL

# 环境值
https://mirrors.huaweicloud.com/python/
# 或
https://jedore.netlify.app/tools/python-mirrors/

2. 打开新窗口执行 pyenv update 命令即可

设置 pip 镜像源

# 国内镜像源
# 华为
https://mirrors.huaweicloud.com/repository/pypi/simple

# 阿里
http://mirrors.aliyun.com/pypi/simple

# 清华大学
https://pypi.tuna.tsinghua.edu.cn/simple

# 安装某个库时临时使用镜像yuan
pip install -i https://pypi.tuna.tsinghua.edu.cn/simple open-webui

# 设置全局镜像源
pip config set global.index-url https://mirrors.huaweicloud.com/repository/pypi/simple

AnythingLLM

AnythingLLM 是一个全栈应用程序，您可以使用现成的商业大语言模型或流行的开源大语言模型，再结合向量数据库解决方案构建一个私有 <font style="color:rgb(31, 35, 40);">ChatGPT</font>，能够根据你上传的文档资料进行学习，在与其聊天时，引用这些内容，构建本地私人知识库

官网地址：anythingllm.com/

仓库地址：github.com/Mintplex-La…

使用 docker 安装 anythingllm

docker pull mintplexlabs/anythingllm

运行 anythingllm ，在 PowerShell 中运行如下命令：

# Run this in powershell terminal$env:STORAGE_LOCATION="$HOME\Documents\anythingllm"; `
If(!(Test-Path $env:STORAGE_LOCATION)) {New-Item $env:STORAGE_LOCATION -ItemType Directory}; `
If(!(Test-Path "$env:STORAGE_LOCATION\.env")) {New-Item "$env:STORAGE_LOCATION\.env" -ItemType File}; `
docker run -d -p 3001:3001 `
--cap-add SYS_ADMIN `
-v "$env:STORAGE_LOCATION`:/app/server/storage" `
-v "$env:STORAGE_LOCATION\.env:/app/server/.env" `
-e STORAGE_DIR="/app/server/storage" `
mintplexlabs/anythingllm;

在浏览器中打开：http://localhost:3101/，就会出现如下界面：

进行如下配置：

根据个人需求选择个人还是团队使用，然后根据默认配置进行下一步

建立工作区

就可以进行使用了

上传文档资料到知识库，并挂载到指定的工作区进行对话，输出的内容便会依据你当前工作区的资料进行回答

读者福利：倘若大家对大模型感兴趣，那么这套大模型学习资料一定对你有用。

针对0基础小白：

如果你是零基础小白，快速入门大模型是可行的。
大模型学习流程较短，学习内容全面，需要理论与实践结合
学习计划和方向能根据资料进行归纳总结

包括：大模型学习线路汇总、学习阶段，大模型实战案例，大模型学习视频，人工智能、机器学习、大模型书籍PDF。带你从零基础系统性的学好大模型！

😝有需要的小伙伴，可以保存图片到wx扫描二v码免费领取【保证100%免费】🆓

👉AI大模型学习路线汇总👈

大模型学习路线图，整体分为7个大的阶段：（全套教程文末领取哈）

第一阶段： 从大模型系统设计入手，讲解大模型的主要方法；

第二阶段： 在通过大模型提示词工程从Prompts角度入手更好发挥模型的作用；

第三阶段： 大模型平台应用开发借助阿里云PAI平台构建电商领域虚拟试衣系统；

第四阶段： 大模型知识库应用开发以LangChain框架为例，构建物流行业咨询智能问答系统；

第五阶段： 大模型微调开发借助以大健康、新零售、新媒体领域构建适合当前领域大模型；

第六阶段： 以SD多模态大模型为主，搭建了文生图小程序案例；

第七阶段： 以大模型平台应用与开发为主，通过星火大模型，文心大模型等成熟大模型构建大模型行业应用。

👉大模型实战案例👈

光学理论是没用的，要学会跟着一起做，要动手实操，才能将自己的所学运用到实际当中去，这时候可以搞点实战案例来学习。

👉大模型视频和PDF合集👈

这里我们能提供零基础学习书籍和视频。作为最快捷也是最有效的方式之一，跟着老师的思路，由浅入深，从理论到实操，其实大模型并不难。

👉学会后的收获：👈

• 基于大模型全栈工程实现（前端、后端、产品经理、设计、数据分析等），通过这门课可获得不同能力；

• 能够利用大模型解决相关实际项目需求： 大数据时代，越来越多的企业和机构需要处理海量数据，利用大模型技术可以更好地处理这些数据，提高数据分析和决策的准确性。因此，掌握大模型应用开发技能，可以让程序员更好地应对实际项目需求；

• 基于大模型和企业数据AI应用开发，实现大模型理论、掌握GPU算力、硬件、LangChain开发框架和项目实战技能， 学会Fine-tuning垂直训练大模型（数据准备、数据蒸馏、大模型部署）一站式掌握；

• 能够完成时下热门大模型垂直领域模型训练能力，提高程序员的编码能力： 大模型应用开发需要掌握机器学习算法、深度学习框架等技术，这些技术的掌握可以提高程序员的编码能力和分析能力，让程序员更加熟练地编写高质量的代码。

👉获取方式：

😝有需要的小伙伴，可以保存图片到wx扫描二v码免费领取【保证100%免费】🆓