jstorm学习总结
整体架构
jstorm是基于内存的计算，实时性远优于MapReduce。
- 从应用的角度，jstorm应用是一种遵循某种编程规范的分布式应用。
- 从系统的角度，jstorm是一套类似MapReduce的调度系统。
- 从数据的角度，是一套基于流水线的消息处理机制
jstorm处理数据都是基于流水线式的处理，所以比较适合无状态计算，无状态的意思是单个计算单元(spout/bolt)所依赖的数据都可以在本单元获得，应用场景包括：
-
日志分析:logagent收集日志，存入消息中间件，jstorm拉取消息中间件，分析处理，计算结果放入queue供前端拉取，另一部分写入ELK供查询
-
管道系统：将数据从一个系统传输到另一个系统，比如数据库转到mr。
-
消息转化器：logagent收集，存入queue，jstorm转化。
-
统计分析器：类似wordcount。
-
DRPC：实时性高，分布式远程过程调用。
逻辑概念
stream
是一个不间断的无界的连续tuple。
tuple
流中的数据被抽象为tuple，拓扑中的节点要声明发射数据的name，接收节点可以根据name获取数据
spout
stream的源头，连接消息中间件或者其他源。
bolt
bolt是stream中间处理过程的抽象，接收spout/bolt数据，处理完发送给下一个bolt或结束。
topology
spout和bolt之间的订阅关系，可以得到一张有向无环图。
stream grouping
规定了tuple的发送方式：
shuffle：轮训方式发送；
field : 指定字段发送，相同字段会发送到同一个bolt中。
AllGroup: 同一个tuple会发给每一个订阅者。
DirectGroup:直接分组，消息的发送指定消息的接收。
GlobalGroup：tuple分配给task id 最低的task
localOrShuffleGrouping:本地的worker里有相应task，则随机在本地选择，如果没有则shuffle
物理概念
nimbus：
管理作业资料，处理用户请求，资源分配，任务调度，failover
supervisor：
守护进程，负责运行或者关闭worker。
worker
worker是运行在supervisor节点上，实际干活的进程。topology运行多个worker，每个worker承担部分任务。
task
jstorm的执行单元，一个task对应一个线程，task各节点进行group。
slot
cpu的资源分为四种:cpu,memory,disk,port, 一个worker消费一个port，一个task消费一个cpu slot和memory slot
receiver
task内部线程：反序列化queue中的数据，并放入queue中。
executor ###：
该queue对于executor可见。
transfer ###:
根据接收方是否在同一个worker:决定emit的数据要不要不序列化。不在一个worker，则序列化，网络发送
worker之间数据传输采用netty通信。
批处理：按时间或者数量进行cache，批量处理
Disruptor
解决多线程之间传递数据，比如receive和executor之间。
经典解决方案是，BlockingQueue来put和take。阻塞访问。
Disruptor采用RingBuffer设施来协调多线程共享数据。
高性能的原因：lazySet 保证可见，stores-store barrier。
acker机制
保证数据的处理完整性，
spout发送完，发送一条acker消息给acker线程，每个bolt处理完都要acker下，发送一个异或值给acker。当acker线程收到所有的acker值后，把所有值
发送给spout，spout根据所有acker值进行求异或，如果为0则所有几点都处理完。
问题1:
jstorm processlaucher
在执行 system.out.println 阻塞****
解决办法：
应为properties太长，注释掉
问题2：
log4j 与 log4j-over-slf4j
解决办法：
冲突 用exclude-jars 排掉冲突jar log4j-over-slf4j
wget http://10.4.65.35:8080/hdpSoftware/rocketmq-mysql-pack.tar.gz
jstorm jar rocketmqToDiamond-1.0-SNAPSHOT-jar-online com.lenovo.arcloud.jstorm.DiamondTopology