zoukankan      html  css  js  c++  java
  • flink启动脚本及配置的注意事项

    1.执行start-cluster.sh脚本时要特别注意:

         a.当是zookeeper高可用集群时,在任何一个flink节点执行该脚本时,jobmanager会根据masters文件中的配置依次在masters文件配置节点上启动

         b.当非zookeeper高可用集群时,在任何一个flink节点执行该脚本时,jobmanager会在该节点启动,无论该节点是否为规划的jobmanager节点

    2.flink-conf.yml中jobmanager.rpc.address的配置也要特别注意,当jobmanager节点配置成localhost时,通过netstat查看6123端口,发现监听ip是0.0.0.0,此时也能正常跟其他节点taskmanager建立连接,但是打开jobmanager的日志,你会发现它将连接信息丢弃了,导致别的节点taskmanager即便配置的是正确jobmanager.rpc.address(非localhost),也无法正常与该jobmanager节点通信;

    jobmanager节点配置(实际ip:10.9.1.15):

      

     taskmanager节点(真实ip:10.9.1.17):

     3.hostname的问题:建议将jobmanager.rpc.address以及masters/slavers中的ip都配置成hostname

        替换原因:在多网卡的节点很有可能存在配置的ip与hostname不对应,此时taskmanager无法正常工作,提交任务会报申请不到slot,但是看web端界面显示槽位正常;通过查看jobmanager的日志可以发现实际上,taskmanager没有正常注册成功;

  • 相关阅读:
    JavaScript得到当前窗口的所有大小值
    JavaScript 变量、作用域和内存问题
    jQuery html5Validate基于HTML5表单验证插件
    新世界
    2001年的火花
    High Dynamic Range Compression on Programmable Graphics Hardware
    运筹帷幄
    你还要在学校找什么东西?
    图行天下
    Supra Team
  • 原文地址:https://www.cnblogs.com/lyy-blog/p/14150280.html
Copyright © 2011-2022 走看看