HADOOP都是使用StreamingFileSink,那么有什么区别?:
区别主要在写文件策略:
2.6及以前: OnCheckpointRollingPolicy
2.7: OnCheckpointRollingPolicy和 DefaultRollingPolicy
为什么2.7以前的版本不支持使用DefaultRollingPolicy?
OnCheckpointRollingPolicy:更新checkpoints时,新写文件
DefaultRollingPolicy:可设置写出策略:多长时间,多大内容,多长是时间间隔等!
重点: 当设置的策略跨越检查点时,需要中断文件;但是2.6是不支持中断的。