【文章基本信息】

• 文章说明：本文主体内容来自博主硕士阶段学习《人工智能及其应用》课程时对所使用教材《人工智能导论(第5版)》（见下文及上图）及其配套课件做的笔记。重要概念用高亮标记，普通概念用 斜体 标记。
• 免责声明：本文主体内容仅根据笔者本人的主观意识进行摘录，并适当调整以保证逻辑通顺。一家之言，仅供参考，请读者理性交流。
• 版本历史：
  • V1.0：2023年2月主体内容定稿
  • V2.0：2026年2月8日发布，补充元数据、相关知识、图片等，增加课外内容（第9-10章）的笔记

【图书基本信息】👉高等教育出版社

• 2025年11月出版第6版｜主编：王万良 王铮
• 2020年11月出版第5版｜编著：王万良

【课程基本信息】

• 课程名称：人工智能及其应用 / Artificial Intelligence with Applications

• 开课单位：浙江工业大学计算机科学与技术学院（软件学院、人工智能学院）

• 课程性质：学位课 / 专业基础课

前言

• 人工智能在互联网时代获得了前所未有的发展机遇，Web环境下智能信息处理技术成为推动人工智能在网络环境中发展的一大动力。由于人工智能是模拟人类智能解决问题的方法，在众多领域都有非常广泛的应用，所以，目前不仅许多专业的研究生开设人工智能课程，而且许多专业的本科生都开设了人工智能课程。
• 本书编写特色：
  1. 语言简明，可读性好。
  2. 内容实用，注重应用。由于人工智能正处于迅速发展阶段，内容非常庞杂。本书在内容上精选一些基本理论与实用方法，而不是像专著和研究生教材那样追求前沿理论方法。学生学习本书后，能够很容易阅读其他专门的书籍，掌握更广、更深的知识。
  3. 有配套的MOOC，便于开展混合式教学。本书是作者在“中国大学MOOC”平台上开设的“人工智能导论”MOOC的主讲教材。

第1章 绪论

• 人工智能与空间技术、原子能技术一起被誉为20世纪三大科学技术成就。

1.1 人工智能的基本概念

1.1.1 智能的概念

• 对智能还没有确切的定义，其中思维理论认为智能的核心是思维；知识阈值理论认为智能取决于知识的数量及一般化程度。

• 综合各种观点，可以认为：智能是知识与智力的总和（【批注】智能=知识+智力）。其中，知识是一切智能行为的基础，而智力是获取知识并应用知识求解问题的能力。

1.1.2 智能的特征

1. 具有感知能力
2. 具有记忆与思维能力
3. 具有学习能力
4. 具有行为能力

1.1.3 人工智能

人工智能学科是一门研究如何构造智能机器（智能计算机）或智能系统，使它能模拟、延伸、扩展人类智能的学科。

1.2 人工智能的发展简史

1.2.1 孕育（1956年之前）

• 亚里斯多德：三段论
• 培根：归纳法
• 莱布尼茨：万能符号、推理计算
• 布尔：布尔代数，首次用符号语言描述思维活动的基本推理法则
• 1936年，图灵：理想计算机的数学模型，即图灵机
• 1943年，麦克洛奇、匹兹：第一个神经网络模型——M-P模型
• 1937-1941：世界上第一台电子计算机“阿塔纳索夫-贝瑞计算机”

1.2.2 形成（1956年-1969年）

• 1956年：学术研讨会上经麦卡锡提议正式采用“人工智能”这一术语，标志着人工智能学科正式诞生。麦卡锡因而被称为人工智能之父。
• 1956年以后，人工智能的研究在机器学习、定理证明、模式识别、问题求解、专家系统及人工智能语言等方面都取得了许多引人瞩目的成就 。
• 1969年，成立了国际人工智能联合会议（International Joint Conferences on Artificial Intelligence，IJCAI）。
• 1970年，国际性的人工智能杂志（Artificial Intelligence）创刊。

1.2.3 发展（1970年－ ）

• 1977年，费根鲍姆在第五届国际人工智能联合会议上提出了“知识工程”概念，推动了知识为中心的研究。专家系统的研究在多领域取得重大突破。这个时期也称为 知识应用时期。
• 1986年之后也称为 集成发展时期。计算智能弥补了AI在数学理论和计算上的不足，丰富了AI理论框架，使人工智能进入了一个新的发展时期。

1.2.4 大数据驱动发展期（2011年－ ）

• 这一阶段，物联网、大数据、云计算、人工智能相互促进。
• 人工智能大体可分为专用人工智能和通用人工智能。目前的人工智能主要是面向特定任务的专用人工智能，处理的任务需求明确、应用边界清晰、领域知识丰富，在局部智能水平的单项测试中往往能够超越人类智能。通用人工智能尚处于起步阶段，是人工智能的发展方向。

1.3 人工智能研究的基本内容

1. 知识表示
   • 由于目前对人类知识的结构及机制还没有完全搞清楚，因此关于知识表示的理论及规范尚未建立起来。
   • 知识表示法 可分为两大类。符号表示法 是用各种包含具体含义的符号，以各种不同的方式和顺序组合起来表示知识的一类方法。连接机制表示法 是用神经网络表示知识的一种方法。
2. 机器感知
   • 所谓 机器感知 就是使机器（计算机）具有类似于人的感知能力，其中以机器视觉与机器听觉为主。对此，人工智能中已经形成了两个专门的研究领域，即模式识别与自然语言理解。
3. 机器思维
4. 机器学习
   • 机器学习 就是研究如何使计算机具有类似于人的学习能力，使它能通过学习自动地获取知识。
5. 机器行为
   • 机器行为 主要是指计算机的表达能力，即“说”“写”“画”等能力。

1.4 人工智能的主要研究领域

3. 模式识别
   • 模式识别是一门研究对象描述和分类方法的学科。分析和识别的模式可以是信号、图像或者普通数据。
4. 机器视觉
   • 机器视觉系统 是指通过图像摄取装置将被摄取的目标转换成图像信号，进行处理，根据判别结果控制现场的设备动作。
   • 机器视觉与模式识别存在很大程度的交叉性，两者的主要区别是机器视觉更注重三维信息的处理，而模式识别仅仅关心模式的类别。此外，模式识别还包括听觉等非视觉信息。

思考题1

• 问题1.2：什么是人工智能？它的发展过程经历了哪些阶段？
• 回答1.2：人工智能是用人工的方法在机器（计算机）上实现的智能。人工智能的发展历史，可归结为孕育、形成和发展三个阶段。（1.5小结第3段）

第2章 知识表示与知识图谱

• 人类的智能活动主要是获得并运用知识。知识是智能的基础。为了使计算机具有智能，能模拟人类的智能行为，就必须使它具有知识。但知识需要用适当的模式表示出来才能存储到计算机中去，因此，知识的表示成为人工智能中一个十分重要的研究课题。
• 本章首先介绍知识与知识表示的概念，然后介绍一阶谓词逻辑、产生式、框架、语义网络等当前人工智能中应用广泛的知识表示方法，简要介绍知识图谱，为后面介绍推理方法、专家系统等奠定基础。

2.1 知识与知识表示的概念

2.1.1 知识的概念

• 一般来说，把有关信息关联在一起所形成的信息结构成为知识。
• 人工智能中的知识分类：
  1. “事实”：“雪是白色的” ，它反映了“雪”与“白色”之间的一种关系。这种知识称为“事实”。
  2. “规则”：“如果头痛且流涕，则有可能患了感冒” 是一条知识，它反映了“头痛且流涕”与“可能患了感冒”之间的一种因果关系。这种用“若…则…”关联起来形成的知识称为“规则”。

2.1.2 知识的特性

1. 相对正确性
2. 不确定性
3. 可表示性与可利用性

2.1.3 知识的表示

知识表示就是将人类知识形式化或者模型化。

2.2 一阶谓词逻辑表示法

相关文章👉离散数学笔记-前两章

人工智能中用到的逻辑可划分为两大类。一类是经典命题逻辑和一阶谓词逻辑，其特点是任何一个命题的真值或者为“真”，或者为“假”。另一类是非经典逻辑。

2.2.1 命题

• 命题（proposition）是一个非真即假的陈述句。

2.2.2 谓词

• 谓词的一般形式是： P(x₁, x₂,…,x_n)。其中P是谓词名（用于刻画个体的性质、状态或个体间的关系），x₁, x₂,…,x_n是个体。
• 个体是函数时，表示一个个体到另一个个体的映射。
• 在谓词中，若所有个体都是个体常量、变元或函数，称它为 一阶谓词 。

2.2.3 谓词公式

• →：称为“蕴涵”或者“条件”。
• ↔：称为“等价”或者“双条件”。

2.2.6 一阶谓词逻辑表示法的特点

• 优点：自然性、精确性、严密性、容易实现
• 局限性：不能表示不确定的知识、组合爆炸、效率低

2.3 产生式表示法

• “产生式”是1943年美国数学家波斯特（E. Post）首先提出的。他根据串替代规则提出了一种称为波斯特机的计算模型，模型中的每一条规则称为一个产生式。
• 1972年纽厄尔和西蒙在研究人类的认知模型中开发了基于规则的产生式系统。目前它已成为人工智能中应用最多的一种知识表示模型，许多成功的专家系统都用它表示知识。

2.3.1 产生式

1. 确定性规则知识的产生式表示：IF P THEN Q或P→Q
2. 不确定性规则知识的产生式表示：P→Q（置信度）
3. 确定性事实性知识的产生式表示：(对象，属性，值)或者(关系，对象1，对象2)
4. 不确定性事实性知识的产生式表示：(对象，属性，值，置信度)或者(关系，对象1，对象2，置信度)

产生式与谓词逻辑中的蕴含式的区别：

1. 除逻辑蕴含外，产生式还包括各种操作、规则、变换、算子、函数等。例如，“如果炉温超过上限，则立即关闭风门”是一个产生式，但不是蕴含式。
2. 蕴含式只能表示精确知识，而产生式还可以表示不精确知识。

为了严格地描述产生式，下面用巴科斯范式给出它的形式进行描述：

<产生式>::=<前提><结论>
……
<操 作>::=<操作名>[(<变元>，…)]

2.3.2 产生式系统

• 把一组产生式放在一起，让它们互相配合，协同作用，一个产生式生成的结论可以供另一个产生式作为已知条件使用，以求得问题的解，这样的系统称为产生式系统。

• 一般来说，一个产生式系统由规则库、控制系统（推理机）综合数据库三部分组成。它们之间的关系如图2.1所示。

  

• 规则库: 用于描述相应领域内知识的产生式集合。

• 综合数据库(事实库、上下文、黑板等)：一个用于存放问题求解过程中各种当前信息的数据结构。

• 控制系统（推理机构）：由一组程序组成，负责整个产生式系统的运行，实现对问题的求解。

2.3.4 产生式表示法的特点

• 优点：自然性、模块性、有效性、清晰性
• 缺点：效率不高、不能表达结构性知识
• 适合表示的知识：领域知识间关系不密切，不存在结构关系；经验性及不确定性的知识；领域问题的求解过程可被表示为一系列相对独立的操作，且每个操作可被表示为一条或多条产生式规则。

2.4 框架表示法

• 1975年，美国明斯基提出了 框架理论：人们对现实世界中各种事物的认识都是以一种类似于框架的结构存储在记忆中的。
• 框架表示法是一种结构化的知识表示方法，已在多种系统中得到应用。

2.4.1 框架的一般结构

• 框架（frame）是一种描述所论对象（一个事物、事件或概念）属性的数据结构。
• 一个框架由若干个被称为“槽”（slot）的结构组成，每一个槽又可根据实际情况划分为若干个“侧面”（facet）。一个 槽 用于描述所论对象某一方面的属性。一个 侧面 用于描述相应属性的一个方面。槽和侧面所具有的属性值分别被称为 槽值 和 侧面值。
• 下面给出框架的一般表示形式：

 <框架名>
槽名1：   侧面名11      侧面值111，… ，侧面值11P1 
   ┊         ┊
         侧面名1m       侧面值1m1， … ，侧面值1mPm 
槽名n：   侧面名n1       侧面值n11， … ，侧面值n1P1
             ┊
          侧面名nm      侧面值nm1 ， … ，侧面值nmPm
约束：   约束条件1
             ┊
        约束条件n

无论框架、槽或侧面，都可以为其附加上一些说明性的信息，一般是一些约束条件，写在一对括号里面，如年龄：单位（岁）、性别：范围（男、女）。

2.4.3 框架表示法的特点

结构性、继承性、自然性

2.5 知识图谱

2.5.1 知识图谱的提出

• 由于互联网内容有大规模、异质多元、组织结构松散的特点，给人们有效获取信息和知识提出了挑战。
• 谷歌公司为了利用网络多源数据构建的知识库来增强语义搜索，于2012年首先发布了知识图谱（Knowledge Graph）。
• 知识图谱是一种互联网环境下的知识表示方法。
• 知识图谱的目的是为了提高搜索引擎的能力，改善用户的搜索质量以及搜索体验。随着人工智能技术的发展，知识图谱被广泛应用于智能搜索、智能问答、个性化推荐、内容分发等领域。现在的知识图谱已被用来泛指各种大规模的知识库。

2.5.2 知识图谱的定义

• 简答地说，知识图谱是由一些相互连接的实体及其属性构成的。
• 知识图谱也可被看作是一张图，图中的节点表示实体或概念，而图中的边则由属性或关系构成。

2.5.3 知识图谱的表示

• 三元组 是知识图谱的一种通用表示方式，分为两种形式：(实体1-关系-实体2)、(实体-属性-属性值)。
• 如果将资源描述框架RDF的一个三元组中的主语和宾语表示成节点，之间的关系表达成一条从主语到宾语的有向边，所有RDF三元组就将互联网的知识结构转化为图结构。

2.5.4 知识图谱的架构

1. 知识图谱的逻辑结构
   知识图谱在逻辑上可分为模式层与数据层。数据层 主要是由一系列的事实组成，而知识以事实为单位进行存储。如果用三元组来表达事实，可选择图数据库作为存储介质。模式层 构建在数据层之上，是知识图谱的核心，通常采用本体库来管理。

2. 知识图谱的体系架构
   如图2.5所示。其中虚线框内的部分为知识图谱的构建和更新过程。

   

2.5.5 知识图谱的构建

• 目前，大多数通用的知识图谱均是通过对维基百科进行结构化来构建的。
• 知识图谱构建从最原始的数据出发，采用一系列自动或者半自动的技术手段，提取知识事实，并将其存入知识库的数据层和模式层，这一过程包含：知识提取、知识表示、知识融合、知识推理四个过程。
• 知识图谱主要有两种构建方式。自顶向下 指的是先为知识图谱定义好本体与数据模式，再将实体加入到知识库。自底向上 指的是从一些开放链接数据中提取出实体，选择其中置信度较高的加入到知识库，再构建顶层的本体模式。目前，大多数知识图谱都采用自底向上的方式进行构建，这也比较符合互联网数据内容知识产生的特点。

第5章 搜索求解策略

5.1 搜索的概念

5.1.1 搜索的基本问题与主要过程

• 搜索的主要过程：
  1. 从初始或目的状态出发，并将它作为当前状态。
  2. 扫描操作算子集，将适用当前状态的一些操作算子作用于当前状态而得到新的状态，并建立指向其父结点的指针。
  3. 检查所生成的新状态是否满足结束状态，如果满足，则得到问题的一个解，并可沿着有关指针从结束状态反向到达开始状态，给出一解答路径；否则，将新状态作为当前状态，返回第(2)步再进行搜索。

5.1.2 搜索策略

• 所谓 盲目搜索 是在不具有对特定问题的任何有关信息的条件下，按固定的步骤（依次或随机调用操作算子）进行的搜索。
• 所谓 启发式搜索 则是考虑特定问题领域可应用的知识，动态地确定调用操作算子的步骤，优先选择较适合的操作算子，尽量减少不必要的搜索，以求尽快地到达结束状态。

5.2 状态空间的搜索策略

状态空间是利用状态变量和操作符号，表示系统或问题的有关知识的符号体系，状态空间可以用一个四元组表示：(S, O, S₀, G)。其中：

• S是状态集合。
• O是操作算子的集合。
• S₀是包含问题的初始状态，是S的非空子集。
• G可以是若干具体状态，也可以是满足某些性质的路径信息描述。

5.2.2 状态空间的图描述

• 状态空间可用有向图来描述，图的结点表示问题的状态，图的弧表示状态之间的关系，就是求解问题的步骤。初始状态对应于实际问题的已知信息，是图中的根结点。

思考题5

问题5.2：什么是启发式搜索？什么是启发信息？

回答5.2：启发式搜索 是考虑特定问题领域可应用的知识，动态地确定调用操作算子的步骤，优先选择较适合的操作算子，尽量减少不必要的搜索，以求尽快地到达结束状态。用来简化搜索过程有关具体问题领域的特性的信息叫做 启发信息。

---

问题5.4：请写出状态空间图的一般搜索过程。

回答5.4：从初始状态出发，不停地、试探地寻找路径，直到到达目的或“不可解结点”，即“死胡同”为止。当遇到不可解结点时就回溯到路径中最近的父结点上，查看该结点是否还有其它的子结点未被扩展。若有，则沿这些子结点继续搜索；如果找到目标，就成功退出搜索，返回解题路径。

第6章 智能计算及其应用

智能优化方法 通常包括进化计算和群智能等两大类方法，是一种典型的元启发式随机优化方法。

6.1 进化算法的产生与发展

6.1.1 进化算法的概念

进化算法 是基于自然选择和自然遗传等生物进化机制的一种搜索算法。进化算法主要通过选择、重组和变异这三种操作实现优化问题的求解。

6.1.2 进化算法的生物学背景

• 生物进化的基本过程如图6.1所示。
• 生物的遗传物质的主要载体是 染色体，DNA是其中最主要的遗传物质。染色体中基因的位置称作 基因座，而基因所取的值又叫作 等位基因。基因和基因座决定了染色体的特征，也决定了生物个体的形状。
• 以一个初始生物群体为起点，经过竞争后，一部分个体被 淘汰 而无法再进入这个循环圈，而另一部分则成为 种群。竞争过程遵循生物进化中“适者生存，优胜劣汰”的基本规律，所以都有一个竞争标准，或者生物适应环境的评价标准。适应程度高的个体只是进入种群的可能性比较大，并不一定进入种群。而适应程度低的个体只是进入种群的可能性比较小，但并不一定被淘汰。这一重要特征保证了种群的多样性。
• 生物进化中种群经过 婚配 产生子代群体。在进化的过程中，可能会因为 变异 而产生新的个体。每个基因编码了生物机体的某种特征。综合变异的作用使子群成长为新的群体而取代旧群体。

6.2 基本遗传算法

6.2.1 遗传算法的基本思想

生物遗传概念	遗传算法中的应用
适者生存	目标值比较大的解被选择的可能性大
个体	解
染色体	解的编码（字符串、向量等）
基因	解的编码中每一分量
适应性	适应度函数值
群体	根据适应度值选定的一组解（解的个数为群体的规模）
婚配	交叉选择两个染色体进行交叉产生一组新的染色体的过程
变异	编码的某一分量发生变化的过程

• 遗传算法在求解问题时从多个解开始，然后通过一定的法则进行逐步迭代以产生新的解。
• 这多个解的集合称为一个 种群，记为p(t)。这里t表示 迭代步，又称为 演化代。
• 一般地，p(t)中元素的个数在整个演化过程中是不变的，可将群体的规模记为N。
• p(t)中的元素称为个体或染色体，记为x₁(t)，x₂(t)，…。

第7章 专家系统与机器学习

7.2 专家系统的概念

7.2.1 专家系统的定义

• 专家系统是一种智能的计算机程序，它运用知识和推理来解决只有专家才能解决的复杂问题。

7.2.2 专家系统的特点

• 具有专家水平的专业知识、能进行有效的推理、具有启发性、具有灵活性、具有透明性、具有交互性。
• 在编程思想上，专家系统 = 知识 + 推理，而传统程序 = 数据结构 + 算法，这是二者的最大区别。

7.2.3 专家系统的类型

解释、诊断、预测、设计、规划、控制、修理、教学、调试

7.4 知识获取的主要过程与模式

7.4.1 知识获取的过程

抽取知识、知识的转换、知识的输入、知识的检测。

7.5 机器学习

7.5.1 机器学习的基本概念

• 机器学习使计算机能模拟人的学习行为，自动地通过学习来获取知识和技能，不断改善性能，实现自我完善。

• 机器学习主要研究以下三方面问题：

  1. 学习机理：人类获取知识、技能和抽象概念的天赋能力。
  2. 学习方法：机器学习方法的构造是在对生物学习机理进行简化的基础上，用计算的方法进行再现。
  3. 学习系统 ：能够在一定程度上实现机器学习的系统。

• 一个 学习系统 一般应该由环境、学习、知识库、执行与评价等四个基本部分组成。上述模型是针对符号学习系统的，不能概括神经网络学习系统。

7.5.2 机器学习的分类

• 按系统的学习能力分类，可分为有监督学习与无监督学习、弱监督学习。有监督学习 在学习时需要教师的示教或训练，这往往需要很大的工作量，甚至不可能实现。无监督学习 是用评价标准来代替人的监督工作，一般效果比较差。弱监督学习方法 主要有半监督学习、迁移学习和强化学习。

• 若按学习方法是否为符号表示来分类，可分为符号学习与非符号学习。

7.5.3 监督学习、无监督学习、弱监督学习

• 监督学习系统中根据“教师”提供的正确响应（与实际响应之间的误差）调整学习系统的参数和结构。简单地说，监督学习就是在已知输入和输出的情况下训练出一个模型，将输入映射到输出。典型的监督学习包括支持向量机、BP学习等。
• 无监督学习系统完全按照环境提供的数据的某些统计规律调节自身的参数和结构，以表示出外部输入的某种固有特性。无监督学习方法包括各种自组织学习方法，如聚类学习、自组织神经网络学习、自编码器等。
• 弱监督学习中的数据标签允许是不完全的。强化学习中外部环境对系统输出结果只给出评价信息（奖励或者惩罚），而不是正确答案，学习系统通过那些受惩的动作改善自身的性能。

7.5.4 机械式学习

机械式学习 又称 记忆学习，它通过直接记忆或者存储外部环境所提供的信息达到学习的目的，并在以后通过对知识库的检索得到相应的知识直接用来求解问题。

7.5.6 示例学习

示例学习的过程是：首先从示例空间中选择合适的训练示例，然后经解释归纳出一般性的知识，最后再从示例空间中选择更多的示例对它进行验证，直到得到可实用的知识为止。

7.5.7 深度学习

• 传统的机器学习具有优异的特征学习能力，但在处理未加工数据时，需要设计一个特征提取器，把原始数据（如图像的像素值）转换成一个适当的内部特征表示或特征向量。深度学习是一种特征学习方法，把原始数据通过一些简单的但是非线性的模型转变成为更高层次的、更加抽象的表达。通过足够多的转换的组合，非常复杂的函数也可以被学习。深度学习的实质是通过构建具有很多隐层的机器学习模型和海量的训练数据，来学习更有用的特征，从而提升分类或预测的准确性。
• 2006年，深度学习被提出。
• 与人工规则构造特征的方法相比，深度学习利用大数据来学习特征，更能够刻画数据的丰富内在信息。深度学习具有较多层的隐层节点，通过逐层特征变换，将样本在原空间的特征表示变换到一个新特征空间，从而使分类或预测更加容易。

第8章 人工神经网络及其应用

• 人工神经网络是一个用大量简单处理单元经广泛连接而组成的人工网络，是对人脑或生物神经网络若干基本特性的抽象和模拟。

8.1 神经元与神经网络

8.1.1 生物神经元结构

• 现代人的大脑内约有10¹¹个神经元，每个神经元与其他神经元之间约有1000个连接。

8.1.2 神经元数学模型

• 下面介绍神经元的一种所谓标准、统一的数学模型，它由三部分组成，即加权求和、线性动态系统和非线性函数映射。
• ReLU是近年来深度学习研究中广泛使用的一个激活函数，它是一个很简单的分段线性函数，运算速度快，收敛效果好。

8.1.3 神经网络的结构与工作方式

1. 神经网络的结构
   1. 前馈型：各神经元接受前一层的输入，并输出给下一层，没有反馈。
   2. 反馈型：存在一些神经元的输出经过若干个神经元后，再反馈到这些神经元的输入端。
2. 神经网络的工作方式
   • 如果神经网络中各个神经元同时改变状态，则称为 同步工作方式；如果当某个神经元改变状态时，其它神经元保持状态不变，则称为 异步工作方式。

8.1.4 神经网络的学习

• 神经网络方法 是一种知识表示方法和推理方法。神经网络知识表示 是一种隐式的表示方法。在这里，将某一问题的若干知识通过学习表示在同一网络中。
• 神经网络的学习 是指调整神经网络的连接权值或者结构，使输入输出具有需要的特性。
• 赫布（Hebb）提出了改变神经元连接强度的Hebb学习规则：当某一突触两端的神经元同时处于兴奋状态，那么该连接的权值应该增强。

8.2 BP神经网络及其学习算法

8.2.1 BP神经网络的结构

• BP神经网络就是多层前向网络。

• BP定理：只要用三层BP网络就可以逼近一个任意连续函数，但可能需要大量的隐层神经元个数。

• 为了减少隐层神经元个数，可以采用多层BP神经网络结构。

8.2.2 BP学习算法

• BP学习算法是通过反向学习过程使误差最小，因此选择神经网络权值使期望输出与神经网络实际输出之差的平方和最小。
• 误差函数的求取是一个始于输出层的反向传播的递归过程，所以称为 反向传播（back-propagation，BP） 学习算法。

8.2.3 BP学习算法的实现

1. 隐层数及隐层神经元数的确定：目前尚无理论指导。
2. 初始权值的设置：一般以一个均值为0的随机分布设置网络的初始权值。
3. 训练数据预处理：线性的特征比例变换，将所有的特征变换到[0，1]或者[-1，1]区间内，使得在每个训练集上，每个特征的均值为0，并且具有相同的方差。
4. 后处理过程：当应用神经网络进行分类操作时，通常将输出值编码成所谓的名义变量，具体的值对应类别标号。

8.6 卷积神经网络与深度学习

2006年，卷积神经网络（convolutional neural networks, CNN）被提出。CNN是深度学习的基础，已经成为当前众多科学领域的研究热点之一。

8.6.1 卷积神经网络的结构

• CNN是一个多层的神经网络，每层由多个二维平面（称为特征图）组成，而每个平面由多个独立神经元组成。CNN中的每一个C层都紧跟着一个S层，其中 C层 为特征提取层（卷积层），S层 是特征映射层（池化层/下采样层）。
• 特征映射结构采用 sigmoid 函数作为卷积网络的激活函数，使得特征映射具有平移不变性。
• C、S层中的每一层都由多个二维平面组成，每一个二维平面是一个特征图(feature map)。这种特有的两次特征提取结构能够容许识别过程中输入样本有较严重的畸变。
• 由于特征图组成了神经网络的卷积层和池化层，这些特征图中的每一个像素恰恰就代表了一个神经元。

8.6.2 卷积神经网络的卷积运算

• 卷积(convolutional)源自拉丁文”covolvere“，其含义就是”卷在一起(roll together)“，是数学上的一个重要运算。由于其具有丰富的物理、生物、生态等意义，所以具有非常广泛的应用。
• 用卷积核矩阵在输入矩阵上从左到右、从上到下滑动，每次滑动s个像素（称为 步幅），卷积特征矩阵 是输入矩阵和卷积核矩阵重合部分的内积，即卷积特征矩阵每个位置上的值是重合部分两个矩阵间的相应元素乘积之和。因此，卷积特征矩阵称为特征图。

8.6.3 卷积神经网络中的关键技术

• 卷积神经网络使用4个关键技术来利用自然信号的属性：局部连接、权值共享、多卷积核、池化（对不同位置的特征进行聚合统计）。

8.7 生成对抗网络及其应用

• 深度学习的模型可大致分为判别模型和生成模型，目前，深度学习取得的成果主要集中在判别模型。

8.7.1 生成对抗网络的基本原理

• 要实现真正的人工智能，必须使机器能够通过观测现实世界的样本，学习其内在统计规律，并基于此生成类似样本。这种能够反映数据内在概率分布规律并生成全新数据的模型，称为生成模型。
• 生成网络把随机点变成与数据集相似的图片。
• 生成式模型是一个极具挑战的机器学习问题：首先，对真实世界进行建模需要大量先验知识，建模的好坏直接影响生成式模型的性能；其次，真实世界的数据往往非常复杂，拟合模型所需计算量往往非常庞大，甚至难以承受。
• 生成对抗网络的核心思想源于博弈论的纳什均衡。对于GAN来说，博弈的最终结果就是生成模型回复了训练数据的分布，判别模型判别准确率为50%，也就是相当于乱猜。

8.7.2 生成对抗网络的结构与训练

• GAN的训练过程包括两个相互交替的阶段：固定生成网络，训练判别网络（不断输入两类图片，并标注不同的分值0和1）；固定判别网络，训练生成网络（不断生成图片，并接收判别网络反馈的0到1之间实数）。
• GAN的缺点：训练过程难以收敛，经常出现震荡；训练收敛，但是出现模式崩溃；训练收敛，但是生成一些没有意义或者现实中不可能出现的图片。

思考题

• 问题8.8：简述卷积神经网络的结构。

• 回答8.8：CNN是一个多层的神经网络，每层由多个二维平面（称为特征图）组成，而每个平面由多个独立神经元组成。CNN中的每一个C层都紧跟着一个S层，其中C层为特征提取层（卷积层），S层是特征映射层（池化层/下采样层）。

---

• 问题8.13：简述生成对抗网络的结构和基本原理。

• 回答8.13：GAN的框架中包含一对相互对抗的模型：生成器和判别器。判别器的目的是正确区分真实数据和生成数据，从而最大化判别准确率；生成器则是尽可能逼近真实数据的潜在分布。为了在博弈中胜出，二者需不断提高各自的判别能力和生成能力，优化的目标就是寻找二者间的纳什均衡。

第9章 智能体与多智能体系统

随着计算机网络和信息技术的发展，智能体技术得到广泛应用。多智能不仅具备自身的问题求解能力和行为目标，而且能够相互协作，来达到共同的整体目标。因此，能够解决现实中广泛存在的复杂的大规模问题。

本章在介绍智能体与多智能体系统概念的基础上，简要介绍多智能体系统中的通信、协作、协调等基本技术。

第10章 自然语言处理及其应用

10.1 自然语言理解的概念与发展历史

• 概念：
  • 由于自然语言具有多义性、上下文相关性、模糊性、非系统性、环境相关性等，自然语言理解至今尚无一致的定义。
    • 从微观角度，自然语言理解是从自然语言到机器内部的一个映射。
    • 从宏观角度，自然语言理解是指机器能够执行人类所期望的某种语言功能。这些功能主要包括如下几方面。
      1. 回答问题：计算机正确地回答用自然语言输入的有关问题。
      2. 文摘生成：机器能产生输入文本的摘要。
      3. 释义：机器能用不同的词语和句型来复述输入的自然语言信息。
      4. 翻译：机器能把一种语言翻译成另外一种语言。
• 发展历史：
  1. 萌芽时期（20世纪40年代末50年代初）
  2. 以关键词匹配技术为主的时期
  3. 以句法语义分析技术为主的时期（ 20世纪70年代后）
  4. 基于知识的自然语言理解发展时期
  5. 基于大规模语料库的自然语言理解发展时期

10.2 语言处理过程的层次

语言虽然表示成一连串文字符号或一串声音流，但其内部是一个层次化的结构，从语言的构成中就可以清除地看出这种层次性。

• 文字表达的句子的层次是：词素→词或词形→词组或句子。
• 声音表达的句子的层次是：音素→音节→音词→音句。
• 许多现代语言学家把语言处理过程分为三个层次：词法分析、句法分析、语义分析。如果接收到的是语音流，那么在上述三个层次之前还应当加入一个语音分析层。对于更高层次的语言处理，在进行语义分析后，还应该进行语用分析。

1. 词法分析：是从句子中切分出单词，找出词汇的各个词素，从中获得单词的语言学信息并确定单词的语义。
2. 句法分析：是对句子或短语结构进行分析，以确定构成句子的各个词、短语之间的关系以及各自在句子中的作用等，将这些关系用层次结构加以表达， 并对句法结构进行规范化。
3. 语义分析：句法分析后一般还不能理解所分析的句子，至少还需要进行语义分析。语义分析是把分析得到的句法成分与应用领域中的目标表示相关联。
4. 语音分析：是根据音位规则，从语言流中区分出各个独立的音素，再根据音位形态规则找出各个音节及其对应的词素及词。
5. 语用分析：就是研究语言所存在的外界环境对语言使用所产生的影响，是自然语言理解中更高层次的内容。

10.3 机器翻译

1. 直译式翻译系统：通过快速的分析和双语词典，将原文译出。
2. 规则式翻译系统：先分析原文内容，产生原文的句法结构，再转换成译文的句法结构，最后再生成译文。
3. 中介语式翻译系统：先生成一种中介的表达方式，而非特定语言的结构；再由中介的表达式，转换成译文。程序语言的编译常采取此策略。
4. 知识库式翻译系统：翻译经常需要除了词汇之外的各种知识，使用知识获取工具，以充实知识库的内容。由于知识库的建立十分困难，因此目前此类研究多半有限定范围，并且使用知识获取工具，自动或半自动地大量收集相关知识充实知识库。
5. 统计式翻译系统：源语言中的任何一个句子都可能与目标语言中的某些句子相似，这些句子的相似程度可能都不相同，统计式机器翻译系统能找到最相似的句子。
6. 范例式翻译系统：将过去的翻译结果，当成范例，产生一个范例库。在翻译一段文字时，参考范例库中近似的例子，并处理差异处。
7. 翻译记忆：用户利用已有的原文和译文，建立起一个或多个翻译记忆库，在翻译过程中，系统将自动搜索翻译记忆库中相同或相似的翻译资源（如句子、段落等），给出参考译文，使用户避免重复劳动，只专注于新内容的翻译。翻译记忆库同时在后台不断学习和自动储存新的译文，变得越来越聪明。
8. 神经机器翻译：模拟人脑的翻译过程，近年来发展非常迅速，目前已经远远超过统计机器翻译，成为机器翻译的主流技术。

实际的机器翻译系统往往是混合式机器翻译系统，即同时采用多种翻译策略，以达到正确翻译的目标。

10.4 语音识别

10.4.3 隐马尔可夫模型

• 马尔可夫模型是俄国数学家 Markov 在1907年研究俄国文学家普希金作品《奥涅金》中不同音的出现规律时所提出的一个数学模型。它是研究概率随时间传递的一种方法。
• 如果一个过程的“将来”仅仅依赖“现在”，而不依赖“过去”，则此过程称为马尔可夫过程。时间和状态都是离散的马尔可夫过程称为 马尔可夫链。
• 隐马尔可夫模型（hidden Markov model）是马尔可夫模型的一个拓展形式，是表示序列可能出现的一种方法。所谓的“隐”是指马尔可夫模型的状态集合观测不到。