zoukankan      html  css  js  c++  java
  • Spark Web界面显示Workers未启动

    项目场景:

    选择Standalone模式搭建集群,并检查代码运行结果和Web页面显示

    问题描述:

    在写好配置文件后用start-all.sh启动该spark集群,三台机器的jps进程都正常,但web页面却没有显示workers和cpu等信息

    image-20210512140521981

    image-20210512140541601

    image-20210512140555789

    image-20210512140653417

    原因分析:

    查看日志文件,master的日志并没有什么异常

    image-20210512140909583

    workers的日志显示连接不到master

    image-20210512141111644

    用nmap确认能连接Master主机端口7077

    image-20210512141310892

    看来是可以连接的,可能是master绑定了本地的ip,查看一下

    image-20210512141613033

    果然如此,7077端口绑定的是本地回环,导致外界主机无法连接

    为什么明明配置了SPARK_MASTER_HOST=ubuntu01还是会绑定本地回环?只好看一下启动脚本是不是有问题。

    因为start-all.sh是调用了start-master.sh和start-workers.sh两个脚本,所以直接在start-master.sh内查找原因,注意这段代码:

    image-20210512142101944

    判断是否配置文件中SPARK_MASTER_HOST为空,如果为空则设置为hostname -f的值

    但是我配置了这个,并且hostname -f的就是我配置的

    $ hostname -f
    ubuntu01
    

    难道是hosts文件的映射有错???

    image-20210512142653872

    原来ubuntu和centos的hosts文件有点不一样,ubuntu会把本地回环映射到主机名上,虽然下面的代码也配置了ip映射到主机名上。但似乎读到第二行就停止了,导致了7077端口绑定在本地回环上。

    解决方案:

    将这条绑定代码删除,关闭集群重新启动

    轻松秒杀!

    image-20210512143044166

  • 相关阅读:
    Reflector 插件
    Tips for ILMerge
    WaitAll for multiple handles on a STA thread is not supported 解决方案
    MSI: UAC return 0x800704C7
    SET与SETX的区别
    年在Copyright中的含义
    gacutil : 添加.NET 4.0 assembly 到GAC失败
    LicenseContext.GetSavedLicenseKey 需要 FileIOPermission
    Linq学习之linq基础知识
    SQL Server 2008如何导出带数据的脚本文件
  • 原文地址:https://www.cnblogs.com/pineapple-py/p/14773296.html
Copyright © 2011-2022 走看看