zoukankan      html  css  js  c++  java
  • storm配置详解

      storm的配置文件在${STORM_HOME}/conf/storm.yaml。下面详细说明storm的配置信息。

      java.libary.path:storm本身依赖包的路径,有多个路径的时候使用冒号隔开

      storm.local.dir:storm使用的本地文件系统的目录,storm进程必须对该目录拥有可写的权限

      storm.zookeeper.servers:storm集群对应的zookeeper集群的主机列表

      storm.zookeeper.port:storm集群对应的zookeeper集群的服务端口,默认的端口是2181

      storm.zookeeper.root:storm的元数据在zookeeper中存储的根目录

      nimbus.host:整个storm集群的nimbus节点

       storm.cluster.mode: storm运行模式,集群模式需要设置为distribution

      storm.messaging.transport: storm的消息传输机制,使用Netty的时候设置为backtype.storm.messaging.netty.Context

      nimbus.Supervisor.timeout.secs:storm中每个被发射出去的消息处理的超时时间,该时间影响到消息的处理,同时在Storm UI上kill掉一个topolopy的默认时间(kill动作发出多长时间后才会真正的将该Topolopy杀掉)

      ui.port: storm UI的对外提供HTTP服务的端口

      ui.childopts: storm UI 进程的JAVA参数

      logviewer.childopts: Log Viewer进程的参数设置

      logviewer.port: logviewer进程的端口号(logviewer进程也以HTTP形式提供,需要运行在每个Storm节点上)

      logviewer.appender.name: Storm log4j的appender,设置的名字对应于${STORM_HOME}/logback/cluster.xml中对应的appender,${STORM_HOME}/logback/cluster.xml中可以设置storm的log级别

      supervisor.slots.ports: Storm的slot,最好设置为OS核数的整数倍由于Storm是基于内存的实时计算框架,Solt数不要大于每台物理机可以运行的Solt数:(物理内存-虚拟内存)/每个JAVA进程最大可以暂用的内存数

      worker.childopts: Storm 的work进程的JAVA参数配置,有效的设置该参数可以在Topolopy异常的时候分析异常原因。-Xmx1g -Xms1g -server -XX:+UseCompressedOops -XX:+UseParNewGC -XX:+UseConcMarkSweepGC -XX:+CMSClassUnloadingEnabled -XX:+CMSScavengeBeforeRemark -XX:+DisableExplicitGC

      topolopy.debug: 是否开启debug模式,线上建议不开启

      topolopy.acker.executors: Storm通过ack模式保证消息的不丢失,此参数设置每个topolopy的acker数量,建议将该该参数设置在较低的水平。参数也可以在具体的topolopy中覆盖。

      topolopy.max.spout.pending: 一个Spout Task中处于pending状态的最大的Tuple数量。该设置应用与单个Task,而不是Spout和topolopy,可以在具体的topolopy中覆盖。

      值得注意的是storm使用的是yaml做配置文件,因此在每个配置项的冒号后面要跟一个空格

      除了上述的配置外还有两个地方的配置十分的重要

      1.${STORM_HOME}/logback/cluster.xml可以配置storm的日志级别

      2.操作系统的配置,其中有两个配置很重要:open files:当前用户可以打开的文件描述符数量 max user processes:当前用户可以运行的进程数

      可以通过ulimit -a查看操作系统的配置,结果如下:

    core file size          (blocks, -c) unlimited
    data seg size           (kbytes, -d) unlimited
    scheduling priority             (-e) 0
    file size               (blocks, -f) unlimited
    pending signals                 (-i) 160168
    max locked memory       (kbytes, -l) 64
    max memory size         (kbytes, -m) unlimited
    open files                      (-n) 65535
    pipe size            (512 bytes, -p) 8
    POSIX message queues     (bytes, -q) 819200
    real-time priority              (-r) 0
    stack size              (kbytes, -s) 8192
    cpu time               (seconds, -t) unlimited
    max user processes              (-u) 65536
    virtual memory          (kbytes, -v) unlimited
    file locks                      (-x) unlimited

          

  • 相关阅读:
    小三学算术
    The Balance
    扫描线
    2019牛客暑期多校训练营(第九场)
    后缀数组
    Manacher
    局部变量和全局变量的区别
    2386:Lake Counting-poj
    简单背包问题(0032)-swust oj
    编程中易犯错误集锦-持续更新。。。。。
  • 原文地址:https://www.cnblogs.com/senlinyang/p/8064836.html
Copyright © 2011-2022 走看看