状态如何保存和恢复
1.定时制作分布式快照，对程序中的状态进行备份
2.发生故障时：
将整个作业中所有的task都回滚到最后一次成功的checkpoint中的状态，然后从那个点开始执行；
3.必要条件：数据支持重发的
4.一致性语句：恰好一次， 至少一次
checkpoint执行机制
1.checkpoint coordinate向所有的source发送trigger checkpoint
2.所有的task接收到barrier后，会执行快照，并将自己的输出传递到新的barrier，将自己的状态持久化。
3.当task完成备份之后，会将数据地址通知checkpoint coordinate。