Reinforcement Learning: An Introduction读书笔记(1)--Introduction

  > 目  录 <  

• learning & intelligence 的基本思想
• RL的定义、特点、四要素
• 与其他learning methods、evolutionary methods的比较
• 例子(井字棋 tic-tac-toe)及早期发展史

   > 笔  记 < 

learning & intelligence 的基本思想：learning from interaction

RL的定义：

RL is learning what to do--how to map situations and actions--so as to maximize a  numerical reward signal.

RL problems: a learning agent interacting over time with its environment to achieve a goal.

（sensation，action & goal三要素： agent需要能够感知环境的states，采取actions来影响state，有1个or多个与环境中的state相关的目标。）

2个特点：

1. trial-and-error search：不告诉learner该如何做，而是让他通过不断地尝试来发现该采取什么行为来获得更多的奖励。

2. delayed reward: 行为不仅仅影响immediate reward，还影响next situation，甚至是随后所有的subsequent rewards。

RL四要素：

1. policy: 定义了learning agent在特定时刻的行为表现。

2. reward signal: 定义了RL problem的目标，反映了what is good in an immediate sense

3. value function：定义了what is good in the long run。也就是说，某一state的value指的是，agent从现在开始一直到未来可以得到的累计回报的期望。

4. model of the environment (optional, only for model-based methods)：它模仿了环境的行为，也就是说给出state和action，model可以预测next state和reward。

与其他learning methods比较：

1. RL不同于supervised learning，因为监督学习是learning for a training set of labelled examples provided by a knowledgeable external supervisor.

2. RL不同于unsupervised learning，因为非监督学习主要是finding structure hidden in collections of unlabeled data。虽然RL一定程度上可以看成是非监督学习 (∵不依赖examples of correct behavior)，但实际上两者并不相同，因为RL的目的是maximize a reward signal而非trying to find hidden structure. 此外，RL和时间有很大的关系，而且反馈都是具有时间效应的。

3. RL其他特点：

(1) trade-off between exploration and exploitation是其独有的challenge; 

(2) 关注的不是isolated subproblems，而是whole problem of a goal-directed agent interacting with an uncertain environment；

(3) 多学科交叉：数学、心理学、神经科学......

与evolutionary methods (e.g. 遗传算法)的比较：

在(1) 问题空间不大 or 有足够时间去搜索的情况下, (2)或者learning agent不能获知环境完整state的情况下，evolutionary methods比较有效。

但是，RL利用了每个个体与环境交互所得到的信息去学习，因此多数情况下RL更好。

具体例子—井字棋(tic-tac-toe)：

分析了用不同的方法 (e.g. minimax、动态规划、进化方法、RL )来解决

RL早期发展史：

略