本篇笔记内容

1、学习本节课需要的前置知识

• 了解大模型的训练过程：预训练、后训练、强化学习（2024年生成式AI导论前8讲）
• 了解基础机器学习、深度学习概念（如transformer）（2021年机器学习课程）

2、本节课的大纲

• 大模型有怎样的行为：
  • 思考reasoning
  • 使用工具（deepreasearch、使用浏览器、询问人类反馈）
• 运作机制：
  • 人类给定输入，大模型给输出（输入输出可以是文字、语言、图片）
  • 生成式AI的基本原理——文字接龙
    • 根据给定的一串token，决定下一个token
    • 输入给定的token，确定输出的一串token，哪个token的概率最大。因为有概率的参与，所以一模一样的输入也会有不一样的输出。
    • 为什么需要深度学习？不精准的比喻是，深度学习可以把输入拆解成为多个步骤，因此相较于一次性计算所有数据，深度学习多层计算拆开后减少运算量，比较简单。
• 模型是怎样产生出来的
  • 神经网络包含“架构”和“参数”两部分，其中架构包含如“神经网络有多少层”等，是人为定义好的，一般说工程师调参就是调整架构。（能调整的架构参数，就叫做超参数。参数，则模型是需要通过训练资料学习的）
  • 找出参数过程，就是模型训练，需要大量语料

零、前置准备&课程大纲

一、有什么行为

1）大模型会推理

2）大模型会使用工具

• deep research
• 使用浏览器（操作电脑 open ai operator）
• 询问人类反馈

二、运作机制

1）给定输入，有输出

输入输出都可以是很复杂的东西，比如文字、图片、声音

2）生成式AI的基本原理——文字接龙

给定一串token，决定下一个token

输入给定的token，输出一串概率分布，确定输出的一串token，哪个token的概率最大。因为有概率的参与，所以一模一样的输入也会有不一样的输出。

为什么需要深度学习，不精准的比喻是，深度学习可以把输入拆解成为多个步骤，因此相较于一次性计算，深度学习比较简单。

如果深度学习的层数不够，也可以用前一个深度学习的输出作为下一个深度学习的输入

三、模型是怎样产生出来的

神经网络包含“架构”和“参数”两部分

其中架构包含如“神经网络有多少层”等，是人为定义好的。

一般说工程师调参就是调整架构。

能调整的架构参数，就叫做超参数。参数，则是模型需要通过训练资料学习的。

找出参数过程，就是模型训练