1、知识库

不妨把知识库想象成一个全天候开放的智能档案馆，里面整齐陈列放着某一领域的所有重要资料 —— 从产品手册、技术白皮书到行业报告、学术论文，甚至是社交媒体上的专业讨论。这些信息经过系统化整理，形成一个可供 AI 随时查阅的 “外部大脑”。
null

与人类记忆不同，这个数字档案馆的内容可以随时更新：新增最新研究成果、移除过时的技术说明，整个过程无需对 AI 模型进行重新训练。这种灵活性让 AI 始终能掌握最新信息，避免了 “知识老化” 问题。例如，在医疗领域，当有新的治疗指南发布时，只需将其加入知识库，AI 就能立即据此提供建议。

简单来说，知识库是为 AI 构建的结构化信息集合，它就像给 AI 配备了一套可随时更新的专业百科全书，确保回答基于最新、最准确的特定领域信息。

2、RAG

RAG 的全称叫检索增强生成（Retrieval Augmented Generation）,它是一种技术方法，可以让 AI 在回答问题时，先检索知识库里的相关信息，然后把检索到的信息生成最终答案。其原理如下图所示：

null

最左边的是知识库的原始文档，这些文档会以分片的方式存储到一种叫做“向量数据库”的数据库中。当用户输入一个查询 Query 的时候， RAG 技术会从向量数据库中，查找和用户查询最接近的 K 个知识库文档分片，并将这些分片内容作为上下文送到大模型中，大模型再根据这些上下文内容和用户查询，给出最终的结果。

3、Embedding

真正存入向量数据库的内容，其实不是知识库的分片，而是分片内容经过 “Embedding” 处理后的一个向量（想象成3维空间中的一个点，只是这里的维度不是3维，而是几百维）。

而用户的 Query 也会经过同样的 “Embedding” 处理，得到一个向量。然后向量数据库会计算用户 Query 向量与知识库分片向量之间的相似度(例如余弦相似度)，返回相似度最高的分片内容。

以下图为例，展示了文本被转为向量后就是一堆数字：

null

Embedding 技术将文本语义编码为向量，使检索更关注内容相关性而非关键词匹配。通过将文本转换为高维向量，Embedding 能捕捉到语义上的相似性，从而提高检索的准确性和相关性。

4、实现你的第一个知识库

创建 2-basic.py，代码如下：

from agno.agent import Agent
from agno.knowledge.url import UrlKnowledge
from agno.vectordb.lancedb import LanceDb, SearchType
from agno.models.ollama import Ollama
from agno.embedder.ollama import OllamaEmbedder

knowledge_base = UrlKnowledge(
    urls=["https://juejin.cn/post/7520048068626038822"],
    # 使用 LanceDB 作为向量数据库, 向量存储在 `agno_docs` 表
    vector_db=LanceDb(
        uri="tmp/lancedb",
        table_name="agno_docs",
        search_type=SearchType.hybrid,
        embedder=OllamaEmbedder(id="qwen3:8b")
    )
)

agent = Agent(
    name="RAG Agent",
    model=Ollama(id="qwen3:8b"),
    description="An agent that uses RAG to answer questions based on the provided URLs.",
    knowledge=knowledge_base,
    instructions=[
        "You are a helpful assistant that answers questions based on the provided URLs.",
        "If the answer is not found in the URLs, respond with 'I don't know'.   ",
        "Always provide a concise and accurate answer.",
    ],
    show_tool_calls=True,
    markdown=True
)

if __name__ == "__main__":
    # 加载知识库, 首次执行后注释该行
    agent.knowledge.load(recreate=True)
    agent.print_response("为什么不建议用Flutter实现液态玻璃效果?", markdown=True)

4.1、定义知识库

首先定义知识库实例，UrlKnowledge 是 Agno 框架中的一个知识库（Knowledge Base）类，用于从指定的网页（URL）抓取内容。

null

  1. urls 允许我们配置多个知识库链接，代码中使用了掘金的一篇文章作为参数，它就会自动爬取这篇文章。

  2. vector_db 是向量数据库的配置，代码中使用 LanceDB 作为向量数据库:

  • uri=“tmp/lancedb”
    指定 LanceDB 的本地存储路径。所有的向量数据和索引会保存在这个目录下。你可以换成任何你有写权限的本地路径。
  • table_name=“agno_docs”
    指定在 LanceDB 数据库中存储数据的表名。你可以在同一个数据库下用不同表名存储不同的数据集。
  • search_type=SearchType.hybrid
    指定 LanceDB 在检索时采用的搜索方式，代码中使用混合检索，它结合了“向量相似度检索”（基于 embedding 向量的相似度）和“关键词全文检索”（如 BM25/Tantivy 等）。
    这样可以同时利用语义相似度和关键词匹配，提高检索的相关性和准确率。
  • embedder=OllamaEmbedder(id=“xx”)
    指定用于文本向量化（embedding）的模型，这里用的是 Ollama 本地部署的 qwen3:8b 模型。OllamaEmbedder 会调用该模型把文本转成向量，便于后续的相似度检索。

4.2、在 Agent 中调用知识库

在 Agent 中使用 RAG 的方法非常简单，只需要设置 Knowledge 参数即可。

null

以下代码首次创建知识库或者更新知识库的时候使用，如果已经建立知识库且不需要更新可以注释该代码。否则的话每次运行都需要创建知识库会影响性能。

null

4.3、运行

首次执行看到下面的 log 就意味着知识库成功创建

null

让大模型结合知识库回答问题，大模型会自动调用知识库：

null

在运行过程中可能出现一些报错，大概分为2类：

  1. 是代码中依赖的包没有安装
  2. 是本地的模型服务假死

问题1通过 pip install 安装依赖即可解决。问题2出现假死的情况执行代码会出现 503，这个时候通过重启 ollama server 来解决。

下面这个是 ollama server 启动后的日志窗口，也能够帮助我们 debug 时发现一些异常。

null

5、Agno 中支持的知识库和向量数据库

上面代码中我们使用了 UrlKnowledge(知识库) 和 LanceDB(向量数据库) 的组合，实际上 Agno 提供了很多开箱即用的知识库和向量数据库集成，可以根据业务实际情况选择：

null

如何学习大模型 AI ？

由于新岗位的生产效率，要优于被取代岗位的生产效率，所以实际上整个社会的生产效率是提升的。

但是具体到个人，只能说是：

“最先掌握AI的人，将会比较晚掌握AI的人有竞争优势”。

这句话，放在计算机、互联网、移动互联网的开局时期，都是一样的道理。

我在一线互联网企业工作十余年里，指导过不少同行后辈。帮助很多人得到了学习和成长。

我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑，所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限，很多互联网行业朋友无法获得正确的资料得到学习提升，故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

这份完整版的大模型 AI 学习资料已经上传CSDN，朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】

https://img-blog.csdnimg.cn/img_convert/05840567e2912bcdcdda7b15cba33d93.jpeg

在这里插入图片描述

为什么要学习大模型？

我国在A大模型领域面临人才短缺,数量与质量均落后于发达国家。2023年，人才缺口已超百万，凸显培养不足。随着AI技术飞速发展，预计到2025年,这一缺口将急剧扩大至400万,严重制约我国AI产业的创新步伐。加强人才培养,优化教育体系,国际合作并进是破解困局、推动AI发展的关键。

在这里插入图片描述

在这里插入图片描述

大模型入门到实战全套学习大礼包

1、大模型系统化学习路线

作为学习AI大模型技术的新手，方向至关重要。 正确的学习路线可以为你节省时间，少走弯路；方向不对，努力白费。这里我给大家准备了一份最科学最系统的学习成长路线图和学习规划，带你从零基础入门到精通！

img

2、大模型学习书籍&文档

学习AI大模型离不开书籍文档，我精选了一系列大模型技术的书籍和学习文档（电子版），它们由领域内的顶尖专家撰写，内容全面、深入、详尽，为你学习大模型提供坚实的理论基础。

在这里插入图片描述

3、AI大模型最新行业报告

2025最新行业报告，针对不同行业的现状、趋势、问题、机会等进行系统地调研和评估，以了解哪些行业更适合引入大模型的技术和应用，以及在哪些方面可以发挥大模型的优势。

img

4、大模型项目实战&配套源码

学以致用，在项目实战中检验和巩固你所学到的知识，同时为你找工作就业和职业发展打下坚实的基础。

img

5、大模型大厂面试真题

面试不仅是技术的较量，更需要充分的准备。在你已经掌握了大模型技术之后，就需要开始准备面试，我精心整理了一份大模型面试题库，涵盖当前面试中可能遇到的各种技术问题，让你在面试中游刃有余。

img

适用人群

在这里插入图片描述

第一阶段（10天）：初阶应用

该阶段让大家对大模型 AI有一个最前沿的认识，对大模型 AI 的理解超过 95% 的人，可以在相关讨论时发表高级、不跟风、又接地气的见解，别人只会和 AI 聊天，而你能调教 AI，并能用代码将大模型和业务衔接。

  • 大模型 AI 能干什么？
  • 大模型是怎样获得「智能」的？
  • 用好 AI 的核心心法
  • 大模型应用业务架构
  • 大模型应用技术架构
  • 代码示例：向 GPT-3.5 灌入新知识
  • 提示工程的意义和核心思想
  • Prompt 典型构成
  • 指令调优方法论
  • 思维链和思维树
  • Prompt 攻击和防范
  • …
第二阶段（30天）：高阶应用

该阶段我们正式进入大模型 AI 进阶实战学习，学会构造私有知识库，扩展 AI 的能力。快速开发一个完整的基于 agent 对话机器人。掌握功能最强的大模型开发框架，抓住最新的技术进展，适合 Python 和 JavaScript 程序员。

  • 为什么要做 RAG
  • 搭建一个简单的 ChatPDF
  • 检索的基础概念
  • 什么是向量表示（Embeddings）
  • 向量数据库与向量检索
  • 基于向量检索的 RAG
  • 搭建 RAG 系统的扩展知识
  • 混合检索与 RAG-Fusion 简介
  • 向量模型本地部署
  • …
第三阶段（30天）：模型训练

恭喜你，如果学到这里，你基本可以找到一份大模型 AI相关的工作，自己也能训练 GPT 了！通过微调，训练自己的垂直大模型，能独立训练开源多模态大模型，掌握更多技术方案。

到此为止，大概2个月的时间。你已经成为了一名“AI小子”。那么你还想往下探索吗？

  • 为什么要做 RAG
  • 什么是模型
  • 什么是模型训练
  • 求解器 & 损失函数简介
  • 小实验2：手写一个简单的神经网络并训练它
  • 什么是训练/预训练/微调/轻量化微调
  • Transformer结构简介
  • 轻量化微调
  • 实验数据集的构建
  • …
第四阶段（20天）：商业闭环

对全球大模型从性能、吞吐量、成本等方面有一定的认知，可以在云端和本地等多种环境下部署大模型，找到适合自己的项目/创业方向，做一名被 AI 武装的产品经理。

  • 硬件选型
  • 带你了解全球大模型
  • 使用国产大模型服务
  • 搭建 OpenAI 代理
  • 热身：基于阿里云 PAI 部署 Stable Diffusion
  • 在本地计算机运行大模型
  • 大模型的私有化部署
  • 基于 vLLM 部署大模型
  • 案例：如何优雅地在阿里云私有部署开源大模型
  • 部署一套开源 LLM 项目
  • 内容安全
  • 互联网信息服务算法备案
  • …

学习是一个过程，只要学习就会有挑战。天道酬勤，你越努力，就会成为越优秀的自己。

如果你能在15天内完成所有的任务，那你堪称天才。然而，如果你能完成 60-70% 的内容，你就已经开始具备成为一名大模型 AI 的正确特征了。

这份完整版的大模型 AI 学习资料已经上传CSDN，朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】

https://img-blog.csdnimg.cn/img_convert/05840567e2912bcdcdda7b15cba33d93.jpeg

# 人工智能 # 数据库 # 语言模型 # 架构 # 自然语言处理
Logo
2048 AI社区

有“AI”的1024 = 2048，欢迎大家加入2048 AI社区

更多推荐

cover

大模型文本分割实战指南：Chonkie、LangChain、LlamaIndex工具详解与代码实现！

avatar 2048 AI社区
cover

【必看收藏】大模型微调四种方法详解：从Full-tuning到QLoRA，资源有限也能高效优化！

avatar 2048 AI社区

棺AgenticOps Engineering 权威指南：构建自主企业的未来y

System.out.println("[" + Thread.currentThread().getName() + "] 审计日志已记录: " + log.getAction());logger.error("异步方法执行失败: {}.{}", method.getDeclaringClass().getName(), method.getName(), ex);System.err.prin

avatar 2048 AI社区