本篇继续介绍基于Ollama + DeepSeek + AnythingLLM如何在构建本地大模型知识库。

一、AnythingLLM介绍

AnythingLLM 是由 Mintplex Labs 开发的开源全栈应用程序，旨在帮助企业及个人构建私有化、定制化的文档智能聊天机器人。其核心目标是通过 RAG（检索增强生成） 技术，将本地知识库与大型语言模型（LLM）结合，解决通用大模型的“幻觉”问题，并保障数据隐私与安全。

1.1 私有化部署与数据安全

• 支持完全本地运行，用户文档和模型数据均存储在本地，避免第三方平台数据泄露风险。
• 可云端托管，但数据仍按实例隔离存储，确保隐私。

1.2 多模型与多数据库支持

• LLM 兼容性：支持主流开源模型（如 Llama2、Mistral、Gemma）及商业模型（OpenAI、Gemini、Claude 等）。
• 向量数据库：默认集成 LanceDB，同时兼容 Pinecone、Chroma、Milvus 等，支持高效向量搜索与全文检索。

1.3 文档管理与智能问答

• 支持 PDF、TXT、DOCX 等多种格式，可提取文本并通过嵌入模型转化为向量数据。
• 提供两种对话模式：对话模式（保留历史上下文）和 查询模式（仅基于文档内容回答），回答中标注引用来源。

1.4 多用户与权限管理

• 支持管理员、经理、普通用户三种角色，实现工作区、文档、模型的细粒度权限控制，适合企业协作。

1.5 工作区（Workspace）设计

• 文档按工作区容器化管理，不同工作区可共享文档但互不干扰，保持上下文独立

二、AnythingLLM安装和配置（桌面版）

操作系统：支持Windows、MacOS、Linux系统

硬件要求：建议内存至少8Gb，推荐16Gb或更高

2.1 如下展示为Windows Anything LLM，下载地址如下：

https://anythingllm.com/desktop

• 点击文件进行安装如下：

• 安装后打开界面如下：

  

2.2 AnythingLLM配置

AnythingLLM默认通过Ollama来使用LLama2 7B，Mistral 7B，Gemma 2B等模型，也可以调用OpenAI、Gemini、Mistral等大模型的API服务。

因前面已安装了Ollama，那么只要选择Ollama，输入调用的API接口URL，再选择此前已经下载的模型即可。

• 点击"+ 新工作区"创建新工作区，如命名为"test"，点击save保存。

• 点击左侧边栏的齿轮符号，再选择聊天设置进入模型选择界面。

• 从LLM提供商中选择ollama，并从工作区聊天模型中选择ollama之前下载的大语言模型，这些选择deepseek-r1:7b。

• 把聊天提示中的英文改成中文否则AI会用英文回答你的问题，最后点击底部的"update workspace"，保存设置。

如下为设置前后的中英文回复对比：

三、AnythingLLM使用-本地数据训练

• 点击箭头标记处，进入上传数据界面。

• 点击箭头标记处，选择需上传文件，包括txt，csv等格式。

• 选中上传后的文件，点击Move to Workspace，将文件上传到工作区（右边的方框）。

• 点击save and Embed，数据正式保存到工作区，注意将图钉选中。

• 对模型进行提问，模型会使用新上传的数据进行解答。

  

四、AnythingLLM应用场景

4.1 企业内部知识库

将公司文档、培训材料等转化为可交互的问答系统，提升信息检索效率。

4.2 教育领域

构建学科知识库，支持学生自助查询与答疑。

4.3 客户服务

结合产品手册和 FAQ，提供自动化客服支持。

4.4 个人知识管理

整理个人笔记、研究资料，实现智能检索与总结。

小结：AnythingLLM 通过私有化部署、灵活配置和高效文档管理，成为企业及个人构建本地知识库的理想工具。其开源特性与社区支持（GitHub Star 1.2万+）进一步推动了技术迭代与应用扩展。如需深入实操，可参考官方文档或社区教程。

想入门 AI 大模型却找不到清晰方向？备考大厂 AI 岗还在四处搜集零散资料？别再浪费时间啦！2025 年 AI 大模型全套学习资料已整理完毕，从学习路线到面试真题，从工具教程到行业报告，一站式覆盖你的所有需求，现在全部免费分享！

👇👇扫码免费领取全部内容👇👇

​

一、学习必备：100+本大模型电子书+26 份行业报告 + 600+ 套技术PPT，帮你看透 AI 趋势

想了解大模型的行业动态、商业落地案例？大模型电子书？这份资料帮你站在 “行业高度” 学 AI：

1. 100+本大模型方向电子书

2. 26 份行业研究报告：覆盖多领域实践与趋势

报告包含阿里、DeepSeek 等权威机构发布的核心内容，涵盖：

• 职业趋势：《AI + 职业趋势报告》《中国 AI 人才粮仓模型解析》；
• 商业落地：《生成式 AI 商业落地白皮书》《AI Agent 应用落地技术白皮书》；
• 领域细分：《AGI 在金融领域的应用报告》《AI GC 实践案例集》；
• 行业监测：《2024 年中国大模型季度监测报告》《2025 年中国技术市场发展趋势》。

3. 600+套技术大会 PPT：听行业大咖讲实战

PPT 整理自 2024-2025 年热门技术大会，包含百度、腾讯、字节等企业的一线实践：

• 安全方向：《端侧大模型的安全建设》《大模型驱动安全升级（腾讯代码安全实践）》；
• 产品与创新：《大模型产品如何创新与创收》《AI 时代的新范式：构建 AI 产品》；
• 多模态与 Agent：《Step-Video 开源模型（视频生成进展）》《Agentic RAG 的现在与未来》；
• 工程落地：《从原型到生产：AgentOps 加速字节 AI 应用落地》《智能代码助手 CodeFuse 的架构设计》。

二、求职必看：大厂 AI 岗面试 “弹药库”，300 + 真题 + 107 道面经直接抱走

想冲字节、腾讯、阿里、蔚来等大厂 AI 岗？这份面试资料帮你提前 “押题”，拒绝临场慌！

1. 107 道大厂面经：覆盖 Prompt、RAG、大模型应用工程师等热门岗位

面经整理自 2021-2025 年真实面试场景，包含 TPlink、字节、腾讯、蔚来、虾皮、中兴、科大讯飞、京东等企业的高频考题，每道题都附带思路解析：

2. 102 道 AI 大模型真题：直击大模型核心考点

针对大模型专属考题，从概念到实践全面覆盖，帮你理清底层逻辑：

3. 97 道 LLMs 真题：聚焦大型语言模型高频问题

专门拆解 LLMs 的核心痛点与解决方案，比如让很多人头疼的 “复读机问题”：

三、路线必明： AI 大模型学习路线图，1 张图理清核心内容

刚接触 AI 大模型，不知道该从哪学起？这份「AI大模型 学习路线图」直接帮你划重点，不用再盲目摸索！

路线图涵盖 5 大核心板块，从基础到进阶层层递进：一步步带你从入门到进阶，从理论到实战。

L1阶段:启航篇丨极速破界AI新时代

L1阶段：了解大模型的基础知识，以及大模型在各个行业的应用和分析，学习理解大模型的核心原理、关键技术以及大模型应用场景。

L2阶段：攻坚篇丨RAG开发实战工坊

L2阶段：AI大模型RAG应用开发工程，主要学习RAG检索增强生成：包括Naive RAG、Advanced-RAG以及RAG性能评估，还有GraphRAG在内的多个RAG热门项目的分析。

L3阶段：跃迁篇丨Agent智能体架构设计

L3阶段：大模型Agent应用架构进阶实现，主要学习LangChain、 LIamaIndex框架，也会学习到AutoGPT、 MetaGPT等多Agent系统，打造Agent智能体。

L4阶段：精进篇丨模型微调与私有化部署

L4阶段：大模型的微调和私有化部署，更加深入的探讨Transformer架构，学习大模型的微调技术，利用DeepSpeed、Lamam Factory等工具快速进行模型微调，并通过Ollama、vLLM等推理部署框架，实现模型的快速部署。

L5阶段：专题集丨特训篇 【录播课】

四、资料领取：全套内容免费抱走，学 AI 不用再找第二份

不管你是 0 基础想入门 AI 大模型，还是有基础想冲刺大厂、了解行业趋势，这份资料都能满足你！
现在只需按照提示操作，就能免费领取：

👇👇扫码免费领取全部内容👇👇

​

2025 年想抓住 AI 大模型的风口？别犹豫，这份免费资料就是你的 “起跑线”！