MDP：马尔科夫决策过程（一）

MDP：马尔科夫决策过程（Markov Decision Process）

定义：

一个马尔可夫模型包括如下部分

• 状态集 S     (States)
• 动作集 A     (Actions)
• 奖惩函数 R  (reward function)
• 在状态 s 下，执行 a 动作的影响函数 T

我们假设执行动作 a 的效果只与当前状态有关，与之前历史状态无关。

动作表示：分为 确定性动作（Determinstic Actions） 和 随机性动作（Stochastic Actions）

• 确定性动作：T：S × A -> S，对于每一个状态和动作可以确定下一个状态
• 随机性动作：T：S × A -> Prob(S)，对于每一个状态和动作可以确定下一个状态的概率分布

策略π （Pai）：表示当前状态 s 选择怎样的动作 a 

策略π的执行过程：

1. 确定当前状态
2. 根据当前状态，按照策略 π 执行动作 a
3. 执行1

所谓全观测 （Fully Observation）就是执行动作 a 到达的下一状态 s ，系统是可以知道的