zoukankan      html  css  js  c++  java
  • 记一次storm提交任务遇到的坑

    摘要:主要是自己没有真正理解storm jar命令参数的意义。

    情景复现:

      在storm集群中使用命令提交后,在UI界面中,一直看不见任务提交上来的任务,但是在集群提交的shell界面中,是可以看到相关任务的日志输出情况的。

      下面是导致任务提交不上去的代码:

        解释:storm jar xxxxxxx.jar com.主函数名   

           在storm集群中使用此命令进行提交时,jar包后面是需要输入主函数的。

    if (args.length < 1) {
      LocalCluster cluster
    = new LocalCluster(); //在本地运行 cluster.submitTopology(properties.getProperty(TOPOLOGY_NAME, DEFAULT_TOPOLOGY_NAME), config, builder.createTopology());
    }
    else { StormSubmitter.submitTopology(properties.getProperty(TOPOLOGY_NAME, DEFAULT_TOPOLOGY_NAME), config, builder.createTopology()); }

      此代码中的args你可能会和我一样,理解成是输入的主函数的路径,就理解成在提交时输入了主函数,这儿就不小于1了,就是在集群上运行了。

      但是,实际的情况是,你在集群上,提交任务时,后面输的主函数的路径,不代表你从控制台输入的参数个数。(有点绕,自己多做两次实验就可以了)

      如果想要使用上面的方法:正确的姿势是:storm jar xxxxxxx.jar com.主函数名 随便再输入一个参数(我这儿的配置文件等,不是从控制台获取,随便输入没有任何实际意义)

     就可以使用上面的方法了。

  • 相关阅读:
    【转】return 使用示例
    java基础_二维数组的行和列
    新版SQL授权用户时报错 near 'IDENTIFIED BY '密码' with grant option' at line 1
    GO kafka sarama 生产者 消费者 简单 实现
    Windows 安装kafka
    windows 连接nsq
    reflect: call of reflect.Value.NumField on ptr Value
    django 数据库 mysql 事务 处理
    python 类的继承
    python 中 insert 返回 None
  • 原文地址:https://www.cnblogs.com/zzf0305/p/10090920.html
Copyright © 2011-2022 走看看