一、基本概念

State：描述的agent相对于环境的一个状态

State Space：所有状态的空间

Action:每一个状态可采取的一系列活动

State transition：当采取action时，agent从一个state移动到另一个state

Forbidden area：进入某个区域后，agent会得到惩罚

State transition probability：使用概率来描述状态转移

Policy：告诉agent如果在一个状态take哪个action

Mathematical representation：

Reward：是在才去一个action之后得到的实数

如果Reward是一个正数，代表对采取的action是鼓励的

如果Reard是一个负数，代表对采取的action是有惩罚的，不希望该行为的发生。

Trahectory：是一个state-action-reward的链

Discounted return 通过Discount rate

Episode：是有限步的

Markov decision process（MDP）：

二、贝尔曼公式

Motivating examples：

计算return是非常重要的，可以用来评估policy

将上方式子拆解成矩阵形式：

State value：一个trajectory 的discounted return 的期望值（平均值）

只有单一trajectory时，return等于state value。

贝尔曼公式的推导：

贝尔曼公式描述了不同状态的state value之间的关系

 贝尔曼公式的矩阵和向量的形式：

Action value：agent从一个状态出发并且选择了一个action之后所得到的average return