本文从人工智能的基本概念出发，详细介绍了狭义AI和通用AI的分类，以及机器学习、深度学习等核心技术方法。文章重点解析了当前最热门的三大AI概念：Agent（智能体）、RAG（检索增强生成）和多模态模型，阐述了它们各自的能力、核心组件、应用场景及代表产品，如阿里通义千问、字节豆包、月之暗面Kimi等。同时，文章还探讨了多模态模型在图文理解、文生图/视频、跨模态对齐与生成等方面的能力，并指出了当前技术面临的挑战。最后强调，面对AI的快速发展，持续学习和理解技术至关重要。

---

1、写在前面

过去这两年，我常常有种“被时代推着跑”的感觉，不知道你有没有感觉到： 今天还在研究LangChain怎么搭RAG，明天就冒出Coze、Dify这样的平台； 刚搞明白Stable Diffusion的LoRA微调，转头Sora就把视频生成拉进了新纪元； 昨天还在惊叹新出的千问的推理能力，今天它们已经让AI Agent能替你订机票、写周报、跑数据分析……

**AI的演进速度，已经不是“日新月异”，而是“小时级刷新”。**这实在是太恐怖了！

很多像我一样的技术人员，明明身处这场变革的中心，却常常感到信息过载、概念模糊、工具眼花缭乱：

什么是Agent？它和普通聊天机器人到底有什么区别？

RAG真的能解决大模型“胡说八道”的问题吗？

多模态是噱头还是未来？

Qwen-VL、GPT-4V、Sora到底在做什么？

我们不缺碎片化的资讯，缺的是系统、清晰、落地的解读。

因此，我决定开启这个新系列——《人工智能那些事》。目标很简单：让你在AI的洪流中，不止是随波逐流，而是看得清、想得明、用得上。 这一路，我们一起走。

2、什么是人工智能？

2.1 通俗的概念

在一个领域呆久了，可能连初心都忘记了。现在，请你先问一下自己，什么是人工智能？

比较通俗的回答是：AI（Artificial Intelligence，人工智能）是指让机器模拟人类智能行为的技术和系统。

这些“智能行为”包括：看（计算机视觉）、听（语音识别）、说（自然语言生成）、理解（语义理解）、学习（从数据中总结规律）、决策（下棋、自动驾驶）、创造（写诗、作画、作曲）等等。

总之一句话，人工智能研究的是：让机器能像人一样感知、思考、学习和创造。

2.2 简单的分类

能力范围

如果按能力范围来分类，目前主要有两个：

• 狭义人工智能ANI（Artificial Narrow Intelligence）:它只能完成特定任务，比如语音助手、人脸识别等，有些也可以联合完成多种任务。这是目前的AI形态。
• 通用人工智能AGI（Artificial General Intelligence）：它能真正像人类一样跨领域思考、学习、推理。这是我们的目标，是好是坏也是未知。目前有个火热的社区就叫通往AGI之路。

技术方法

如果按照技术方法来分类，那么主流的AI子领域有：

领域/范式	英文	核心特点与目标	典型技术与应用
机器学习	ML	从数据中自动学习模式与规律，进行预测或决策	传统算法（如决策树、SVM）、推荐系统、信用评分
深度学习	DL	使用多层神经网络进行表征学习的机器学习方法	CNN（图像识别）、Transformer（ChatGPT）、Stable Diffusion
计算机视觉	CV	让机器“看懂”并理解图像和视频内容	目标检测（自动驾驶）、图像分割（医学影像）、人脸识别
自然语言处理	NLP	让机器理解、生成和处理人类语言	大语言模型LLM（ChatGPT）、机器翻译、情感分析、语音助手
生成式AI	GenAI	一种能力 ：让AI创造新的、有意义的内容（图文、音视频）	图像 ：Stable Diffusion；文本：GPT-4；视频：Sora；音频：Suno
强化学习	RL	通过与环境互动、根据奖励信号学习最优决策策略	游戏AI（AlphaGo）、机器人控制、智能体仿真

2024~2025年间，本人用了很大精力在计算机视觉上面。这也是我们通往AGI的必经之路吧！ 另一方面AI在普通人中爆火，还是因为自然语言处理中的大语言模型。从ChatGPT开始，各大厂商开始在这里搞军备竞赛。后面会详细聊聊这个大语言模型。

文字结构图表示

人工智能（AI）├── 狭义AI / 专用AI（ANI）—— 所有现有AI系统│   ├── 【方法论/范式】│   │   ├── 机器学习（ML）│   │   │   ├── 深度学习（DL） —— CV、NLP、GenAI的主要驱动力│   │   │   └── （其他传统ML算法）│   │   └── 强化学习（RL） —— 可与DL结合为“深度强化学习”│   ├── 【核心应用领域】│   │   ├── 计算机视觉（CV）—— *目前主要基于DL实现，但传统算法不能丢*│   │   └── 自然语言处理（NLP）—— *主要基于DL实现*│   └── 【能力范式】│       ├── 生成式AI（GenAI）—— *主要基于DL，创造新内容*│       └── 判别式AI —— *主要基于DL，进行分类、识别*│└── 通用人工智能（AGI）—— 尚未实现，具备人类般的通用智能

3、三个热门概念

看了上面的描述，不知道有木有迷糊。但是请不要担心，因为后面还有更迷糊的。

开个玩笑，上面提到的各种概念、英文缩写、技术名词，以后都会进行展开描述。

今天，我们先来了解当前最热门的三个核心概念：Agent（智能体）、RAG（检索增强生成）和多模态模型。

它们不仅是技术热点，更是构建下一代AI应用的“三大支柱”（我不保证哈，指不定2个月后又横空出世什么新的核心概念）。

4、Agent

4.1 Agent是什么

**Agent是一个能“感知 → 思考 → 行动 → 反思”的自主AI系统，目标是独立完成复杂任务，而不仅是回答问题。**Agent直译为代理、代理人。AI Agent就可以理解为AI的代理人？国内将Agent译为智能体，这也是让人摸不着头脑，也许这样翻译的初衷是为了体现Agent比传统问答式AI更加智能一些吧。 我列出了它们的能力对比：

对比项	传统聊天机器人（如早期 ChatGPT）	AI Agent（如 Manus、CrewAI）
交互方式	被动响应（你问，它答）	主动执行（你下指令，它去做）
能力边界	仅限文本生成	可调用工具、联网、操作文件、多步推理
任务类型	单轮问答	多步骤、跨工具、有状态的复杂任务
输出形式	文字回复	完整成果（报告、PPT、邮件、软件程序等）

4.2 Agent的核心组件

以ReAct框架为例，它分为：

1. Reasoning（推理）

• 分析用户目标，拆解成子任务（如：“订机票” → 查航班 → 比价 → 填信息 → 支付）

2. Action（行动）

• 调用外部工具（Tool Use）：浏览器、API、数据库、代码解释器等

3. Observation（观察）

• 获取工具返回的结果（如航班列表）

4. Reflection（反思/迭代）

• 判断是否完成目标，否则继续循环

4.3 使用场景与目前流行的产品

它的使用场景很多，我们可以用它来做生活与工作中的很多事情，比如：自动写周报（从邮件+日历+项目系统提取数据）、电商比价助手（爬取多个平台价格并生成表格）以及 科研文献综述（搜索论文 → 提取结论 → 写摘要）。

目前比较流行的三个能够称为智能体的产品，我列出来了：

智能体名称	主要特点 / 定位	核心应用场景	代表产品 / 功能
阿里·通义千问	生活服务管家 ：依托阿里完整生态（淘宝、支付宝、飞猪等），专注于将自然语言指令转化为实际服务。	生活服务、购物、出行、政务办理。用户说一句话即可完成点外卖、订机票等复杂操作。	千问App中的 “任务助理” ，可跨应用协调完成多步骤任务。其底层模型Qwen3-Max-Thinking也增强了自主调用工具的Agent能力。
字节·豆包	娱乐与创意伙伴 ：根植于字节的娱乐生态，擅长多模态内容生成，并积极向硬件终端拓展。	创意内容生成（文案、图片、视频）、语音交互、社交娱乐。	豆包App （日活过亿的AI原生应用）及即将上市的 “豆包手机助手” （深度集成AI Agent的智能终端）。
月之暗面·Kimi	生产力专家 ：创业公司代表，专注于复杂、长程的专业任务规划与执行，在长文本处理和逻辑推理上优势明显。	专业研究、数据分析、文档处理、代码开发等需要深度思考的工作流。	Kimi Chat中的 “深度研究”、“数据分析” 等高级Agent功能，能够调用工具自动生成报告或可视化网页。

其中一句话就可以点外卖订机票，这也是我在MOSS系列文章中提到的未来目标。阿里打通了这一环节，确实让竞争对手骇然。 而字节家的智能体为什么是豆包而不是扣子？这里我简单说明一下，Coze是生产智能体的工厂，而豆包是这家工厂生产出的、最著名的产品之一。字节跳动在AI智能体领域采取了“平台+产品”的双轨策略。

5、RAG

RAG全拼是Retrieval-Augmented Generation，检索增强生成。

它的主要能力是让大模型在回答问题时，先从你的私有知识库中“查资料”，再生成答案，从而解决“幻觉”和“知识过时”问题。

它的出现是解决大模型的某些痛点：比如大模型训练数据截止于某时间点，在之后的技术点、事件等，它是不知道的；比如它更无法知道你的公司制度、产品手册、内部会议纪要。

要解决这些痛点，重新训练或者是微调大模型，成本都是非常高的。所以我们加一个知识库，就可以适当解决或缓解这些问题。

它的工作流程大致是这样：

用到的关键技术环节有：

1. 文档切片（Chunking）

• 把PDF、Word、网页等切成小段（如每段 512 字）

2. 向量嵌入（Embedding）

• 用模型（如 BGE、text-embedding-ada-002）把文本转为向量

3. 向量检索（Vector DB）

• 存入数据库（如 Milvus、Chroma、Pinecone），用相似度搜索

4. 提示工程（Prompt）

• 构造 prompt：“根据以下资料回答…”

下面列出常用的工具和框架：

类别	选项	说明
框架	LangChain, LlamaIndex	LangChain 组件全、生态大,适合复杂多变的工作流，但学习曲线稍陡；LlamaIndex专注RAG、更精炼，它在检索、索引方面的设计更直接，更易上手
向量数据库	Chroma, Milvus, Pinecone	Chroma 适合快速原型/轻量级应用；Milvus适合大规模、生产级应用;Pinecone适合追求极致开发效率，无运维负担;国内可以看看腾讯云VectorDB和阿里云OpenSearch
Embedding模型	BGE, OpenAI, Qwen	覆盖了中文优化、国际通用和国产优质模型。

RAG的主要应用场景： 特别适合的有企业客服机器人（基于产品文档回答）、法律/医疗咨询（引用法规或病历）以及个人知识库（用 Obsidian + RAG 打造第二大脑）等。

总之一句话：RAG是给大模型装上了“外挂记忆”，让它既聪明又“知道你家的事”。

6、多模态模型

多模态模型（Multimodal Model）能同时理解或生成多种类型的数据，如文本 + 图像 + 音频 + 视频。 多模态还是非常好理解的。以前我们跟单模态大模型对话，都是文本的，而多模态就可以加入图片、声音和视频互动，让沟通更无障碍，效率也提高了不少。

多模态的三种典型能力（场景）：

1. 图文理解（Vision-Language Understanding）

• 输入：一张图 + 一个问题
• 输出：文字答案
• 例：

  图：一张发票
  问：“总金额是多少？”
  答：“¥1,280.00”

• 例2：家长福利

  图：一张试卷 问（不问也可以）：“帮忙解答”
  答：“将试卷中所有问题一一解答”

• 代表模型：Qwen-VL、LLaVA、GPT-4V

2. 文生图/视频（Generative Multimodal）

• 输入：文字描述
• 输出：图像或视频
• 例：

  “一只穿唐装的熊猫在长城上放烟花，夜晚，赛博朋克风格”
  → 生成图片（Stable Diffusion）或视频（Sora）

代表模型：

类别	代表模型	现状与说明
文生图	Stable Diffusion	开源标杆 ：仍是社区最活跃的开源模型，拥有无数衍生版本和工具，是学习和定制开发的首选。
	Midjourney	艺术创作首选 ：公认在艺术美感和风格化方面表现顶尖的模型，尤其在创意、设计领域非常流行。
	Flux / Seedream	新兴挑战者 ，值得关注。
文生视频	Sora (OpenAI)	技术引领者 ：Sora2的效果确实让人惊叹，目前短视频平台好多科比的视频是用它生成的。足以以假乱真。
	Runway Gen-2 / Gen-4	行业主力 ：Runway是视频生成的先驱和行业主力。Gen-4，在角色一致性、物理模拟和多视角叙事上有显著提升。

3. 跨模态对齐与生成

这个方向要解决的核心问题是如何让AI建立一套统一的、跨感官的“世界观”，使得来自不同模态的信息（如一段文字的描述、一张图片的意境、一段声音的情绪）能在同一个语义空间中被理解、关联并自由转换。 比如未来的应用场景可以是这样：

模态转换路径	未来应用场景举例	技术内涵
文本/语音 → 图像/视频	一句话拍电影 ：输入小说章节，AI自动分镜、生成画面、配乐、配音，输出短片。	需连续完成：故事理解、视觉风格化、角色一致性保持、时序生成、音画同步。
图像/视频 → 3D/交互世界	随手拍建模 ：用手机环拍物体，AI生成高质量3D模型，可直接用于游戏或VR。	需从2D视图推断3D几何、材质、光照，是计算机视觉的经典难题。
多模态输入 → 多模态输出	跨模态产品设计 ：描述“一款适合夏夜户外的音箱”，AI同步生成工业设计图、材质说明和模拟的环境音效。	需理解抽象概念，并能在视觉、听觉、文本等多种输出形式上保持“风格”与“功能”的统一。
动态交互生成	沉浸式故事体验 ：用户用语音或手势与AI角色互动，AI实时生成符合剧情和用户动作的对话、画面与音效。	这是终极形态，要求模型具备实时推理、状态管理和强一致性的生成能力。

这一方向的意义在于让AI真正成为全能创作者，将人类的创意直接、无损地转化为丰富的数字内容。当前它面临巨大挑战有：

• 一致性难题：如何让生成的角色、风格、故事线在不同模态和不同时间点上保持一致。我们在看AI生成的短篇时，会挑剔的看到人物的服饰妙明奇妙变了，场景突然也变了。这都是要攻克的一致性问题。
• 可控性与精度：如何对复杂生成过程进行精细、可控的编辑和调整。如果能够生成《哪吒2》中龙族与虾兵蟹将带着锁链大战的场景，那行了，电影业彻底变天了。
• 算力与成本：串联多个大模型进行迭代生成，对算力需求极高。

​最后

我在一线科技企业深耕十二载，见证过太多因技术更迭而跃迁的案例。那些率先拥抱 AI 的同事，早已在效率与薪资上形成代际优势，我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在大模型的学习中的很多困惑。

我整理出这套 AI 大模型突围资料包：

• ✅AI大模型学习路线图
• ✅Agent行业报告
• ✅100集大模型视频教程
• ✅大模型书籍PDF
• ✅DeepSeek教程
• ✅AI产品经理入门资料

完整的大模型学习和面试资料已经上传带到CSDN的官方了，有需要的朋友可以扫描下方二维码免费领取【保证100%免费】👇👇
​​

为什么说现在普通人就业/升职加薪的首选是AI大模型？

人工智能技术的爆发式增长，正以不可逆转之势重塑就业市场版图。从DeepSeek等国产大模型引发的科技圈热议，到全国两会关于AI产业发展的政策聚焦，再到招聘会上排起的长队，AI的热度已从技术领域渗透到就业市场的每一个角落。

智联招聘的最新数据给出了最直观的印证：2025年2月，AI领域求职人数同比增幅突破200% ，远超其他行业平均水平；整个人工智能行业的求职增速达到33.4%，位居各行业榜首，其中人工智能工程师岗位的求职热度更是飙升69.6%。

AI产业的快速扩张，也让人才供需矛盾愈发突出。麦肯锡报告明确预测，到2030年中国AI专业人才需求将达600万人，人才缺口可能高达400万人，这一缺口不仅存在于核心技术领域，更蔓延至产业应用的各个环节。

​​

资料包有什么？

①从入门到精通的全套视频教程⑤⑥

包含提示词工程、RAG、Agent等技术点

② AI大模型学习路线图（还有视频解说）

全过程AI大模型学习路线

③学习电子书籍和技术文档

市面上的大模型书籍确实太多了，这些是我精选出来的

④各大厂大模型面试题目详解

⑤ 这些资料真的有用吗?

这份资料由我和鲁为民博士共同整理，鲁为民博士先后获得了北京清华大学学士和美国加州理工学院博士学位，在包括IEEE Transactions等学术期刊和诸多国际会议上发表了超过50篇学术论文、取得了多项美国和中国发明专利，同时还斩获了吴文俊人工智能科学技术奖。目前我正在和鲁博士共同进行人工智能的研究。

所有的视频教程由智泊AI老师录制，且资料与智泊AI共享，相互补充。这份学习大礼包应该算是现在最全面的大模型学习资料了。

资料内容涵盖了从入门到进阶的各类视频教程和实战项目，无论你是小白还是有些技术基础的，这份资料都绝对能帮助你提升薪资待遇，转行大模型岗位。

智泊AI始终秉持着“让每个人平等享受到优质教育资源”的育人理念‌，通过动态追踪大模型开发、数据标注伦理等前沿技术趋势‌，构建起"前沿课程+智能实训+精准就业"的高效培养体系。

课堂上不光教理论，还带着学员做了十多个真实项目。学员要亲自上手搞数据清洗、模型调优这些硬核操作，把课本知识变成真本事‌！

​​​​

如果说你是以下人群中的其中一类，都可以来智泊AI学习人工智能，找到高薪工作，一次小小的“投资”换来的是终身受益！

应届毕业生‌：无工作经验但想要系统学习AI大模型技术，期待通过实战项目掌握核心技术。

零基础转型‌：非技术背景但关注AI应用场景，计划通过低代码工具实现“AI+行业”跨界‌。

业务赋能 ‌突破瓶颈：传统开发者（Java/前端等）学习Transformer架构与LangChain框架，向AI全栈工程师转型‌。

👉获取方式：

😝有需要的小伙伴，可以保存图片到wx扫描二v码免费领取【保证100%免费】🆓**

​