我们在使用大模型对话的时候，由于公司数据的安全性，所以我们更希望数据存储在我们本地，这时候就需要本地搭建运行一些开源模型加上本地RAG实现，基于这个情况，我们今天就分享一个开源的可以本地运行的GPT，名称叫LocalGPT，看名字就知道是运行在本地的，我们详细介绍下。

LocalGPT介绍

LocalGpt是可以运行在本地设备上，并支持与本地文档或其他数据聊天的软件，它使用到的所有数据100%都在本地，整个运行过程不会有任何数据离开你的电脑，由于所有内容都在本地运行，因此你可以放心使用，这对你数据安全是最大的保护。

特性

• • 最大的隐私：数据保留在本地计算机上，确保 100% 的安全。
• • 多功能模型支持：无缝集成各种开源模型，包括 HF、GPTQ、GGML 和 GGUF。
• • 多样化的嵌入：从一系列开源嵌入中进行选择。
• • 重复使用LLM：下载后，无需重复下载即可重复使用LLM。
• • 聊天历史记录：会记住我们之前的对话（在会话中）。
• • API：LocalGPT 有一个可用于构建 RAG 应用程序的 API。
• • 图形界面： LocalGPT 带有两个 GUI，一个使用 API，另一个是独立的（基于 streamlit）。
• • GPU， CPU， HPU& MPS 支持：开箱即用支持多个平台

安装部署

使用git克隆项目仓库：

git clone https://github.com/PromtEngineer/localGPT.git

推荐使用虚拟环境安装，可以选择任何一种创建虚拟环境的方式，使用conda或者python -m venv venv都可以，然后激活虚拟环境：

conda create -n localGPT python=3.10.0
conda activate localGPT

创建完成后安装软件需要的所有依赖：

pip install -r requirements.txt

因为本地我们要运行llama的模型，所以还需要安装 LlamaCpp-Python,如果要运行最新的llama模型，请确保已安装 llama-cpp-python 版本 0.2.62 或更高版本。

本地数据向量化

安装后首先要向量化自己的本地数据，可以讲文件放入SOURCE_DOCUMENTS中，代码将递归读取你的文件。
向量化支持的文件格式非常多，目前支持如下格式，LocalGPT 用于加载这些文件格式。代码使用字典将文件格式映射到相应的加载器，为了添加对其他文件格式的支持，只需从 LangChain 添加此字典和相应的文件格式和相应的 loader 即可，代码如下：

DOCUMENT_MAP = {
    ".txt": TextLoader,
    ".md": TextLoader,
    ".py": TextLoader,
    ".pdf": PDFMinerLoader,
    ".csv": CSVLoader,
    ".xls": UnstructuredExcelLoader,
    ".xlsx": UnstructuredExcelLoader,
    ".docx": Docx2txtLoader,
    ".doc": Docx2txtLoader,
}

执行：

python ingest.py

运行完后表示本地数据向量化完毕。

与本地文档对话

当完成向量化后，运行以下命令即可与本地数据进行对话：

python run_localGPT.py

运行完后将加载向量库和本地模型，将会看到一个提示：

> Enter a query:

这时候我们提出问题后按回车键，LocalGpt需要一些时间然后给出回复。
注意：这里说需要一些时间是因为第一次运行需要下载模型，下载完模型将不会再联网，所有都在本地运行了。
输入exit就会退出。

另一种选择是启用聊天记录，注意：默认情况下，此功能处于禁用状态，可以使用该标志启用，上下文窗口是有限的，所以需要记住启用历史记录会使用它，并且可能会溢出。

python run_localGPT.py --use_history

我们可以将用户问题和带有标志的模型响应存储到 csv 文件中，每次交互都将被存储。

以上是使用命令行界面，如果要使用图形界面可以按如下操作：
1.运行API

python run_localGPT_API.py

2.打开另一个终端运行

cd /LOCALGPT/localGPTUI
python localGPTUI.py

3.打开浏览器输入

http://localhost:5111/

这样就打开了web界面。

以上就是LocalGPT的安装部署，安装过程中有问题可以留言随时沟通。

大模型算是目前当之无愧最火的一个方向了，算是新时代的风口！有小伙伴觉得，作为新领域、新方向人才需求必然相当大，与之相应的人才缺乏、人才竞争自然也会更少，那转行去做大模型是不是一个更好的选择呢？是不是更好就业呢？是不是就暂时能抵抗35岁中年危机呢？

答案当然是这样，大模型必然是新风口！

那如何学习大模型 ？

由于新岗位的生产效率，要优于被取代岗位的生产效率，所以实际上整个社会的生产效率是提升的。但是具体到个人，只能说是：

最先掌握AI的人，将会比较晚掌握AI的人有竞争优势。
这句话，放在计算机、互联网、移动互联网的开局时期，都是一样的道理。

但现在很多想入行大模型的人苦于现在网上的大模型老课程老教材，学也不是不学也不是，基于此我用做产品的心态来打磨这份大模型教程，深挖痛点并持续修改了近100余次后，终于把整个AI大模型的学习路线完善出来！

在这个版本当中：

您只需要听我讲，跟着我做即可，为了让学习的道路变得更简单，这份大模型路线+学习教程已经给大家整理并打包分享出来, 😝有需要的小伙伴，可以 扫描下方二维码领取🆓↓↓↓

👉CSDN大礼包🎁：全网最全《LLM大模型学习资源包》免费分享（安全咨料，放心领取）👈

​

一、大模型经典书籍（免费分享）

AI大模型已经成为了当今科技领域的一大热点，那以下这些大模型书籍就是非常不错的学习资源。

二、640套大模型报告（免费分享）

这套包含640份报告的合集，涵盖了大模型的理论研究、技术实现、行业应用等多个方面。无论您是科研人员、工程师，还是对AI大模型感兴趣的爱好者，这套报告合集都将为您提供宝贵的信息和启示。(几乎涵盖所有行业)

三、大模型系列视频教程（免费分享）

四、2025最新大模型学习路线（免费分享）

我们把学习路线分成L1到L4四个阶段，一步步带你从入门到进阶，从理论到实战。

L1阶段:启航篇丨极速破界AI新时代

L1阶段：了解大模型的基础知识，以及大模型在各个行业的应用和分析，学习理解大模型的核心原理、关键技术以及大模型应用场景。

L2阶段：攻坚篇丨RAG开发实战工坊

L2阶段：AI大模型RAG应用开发工程，主要学习RAG检索增强生成：包括Naive RAG、Advanced-RAG以及RAG性能评估，还有GraphRAG在内的多个RAG热门项目的分析。

L3阶段：跃迁篇丨Agent智能体架构设计

L3阶段：大模型Agent应用架构进阶实现，主要学习LangChain、 LIamaIndex框架，也会学习到AutoGPT、 MetaGPT等多Agent系统，打造Agent智能体。

L4阶段：精进篇丨模型微调与私有化部署

L4阶段：大模型的微调和私有化部署，更加深入的探讨Transformer架构，学习大模型的微调技术，利用DeepSpeed、Lamam Factory等工具快速进行模型微调，并通过Ollama、vLLM等推理部署框架，实现模型的快速部署。

L5阶段：专题集丨特训篇 【录播课】

全套的AI大模型学习资源已经整理打包，有需要的小伙伴可以微信扫描下方二维码，免费领取

👉CSDN大礼包🎁：全网最全《LLM大模型学习资源包》免费分享（安全资料，放心领取）👈

​