zoukankan      html  css  js  c++  java
  • Error: java.net.ConnectException: Call From tuge1/192.168.40.100 to tuge2:8032 failed on connection exception

    先看解决方案,再看唠嗑,唠嗑可以忽略。

    解决方案:

    使用start yarn.sh启动yarn就可以了。

    唠嗑:

    今天学习Spark基于Yarn部署。然后总以为Yarn是让Spark启动的,提交程序的时候Yarn就会启动~!于是乎我就只开启了Spark程序,没开启Yarn,然后执行提交

    ./spark-submit --class org.apache.spark.examples.JavaSparkPi 
        --master yarn 
        --deploy-mode cluster 
        --driver-memory 4g 
        --executor-memory 2g 
        --executor-cores 1 
        --queue thequeue 
        /opt/spark/spark-2.4.5-bin-hadoop2.7/examples/jars/spark-examples*.jar 
        10

    报错了:

    ava.net.ConnectException: Call From tuge1/192.168.40.100 to tuge1:8032 failed on connection exception: java.net.ConnectException: Connection refused; For more details see:  http://wiki.apache.org/hadoop/ConnectionRefused
        at sun.reflect.NativeConstructorAccessorImpl.newInstance0(Native Method)
        at sun.reflect.NativeConstructorAccessorImpl.newInstance(NativeConstructorAccessorImpl.java:62)
        at sun.reflect.DelegatingConstructorAccessorImpl.newInstance(DelegatingConstructorAccessorImpl.java:45)
        at java.lang.reflect.Constructor.newInstance(Constructor.java:423)
        at org.apache.hadoop.net.NetUtils.wrapWithMessage(NetUtils.java:792)
        at org.apache.hadoop.net.NetUtils.wrapException(NetUtils.java:732)
        at org.apache.hadoop.ipc.Client.call(Client.java:1479)
        at org.apache.hadoop.ipc.Client.call(Client.java:1412)
        at org.apache.hadoop.ipc.ProtobufRpcEngine$Invoker.invoke(ProtobufRpcEngine.java:229)
        at com.sun.proxy.$Proxy13.getClusterMetrics(Unknown Source)
        at org.apache.hadoop.yarn.api.impl.pb.client.ApplicationClientProtocolPBClientImpl.getClusterMetrics(ApplicationClientProtocolPBClientImpl.java:206)

    从上面日志可以看出访问不了8032端口造成的,但是8032端口是 What,左思右想想不到,然后就尝试重启虚拟机等一些无用操作。最后又看了看官方文档,看到一句话说会把 配置的日志写入HDFS,然后想到要开启HDFS,于是开启了。开启后重新执行还是报同样错误,纳了闷了。到底啥端口,为啥要访问这个端口。于是最后只能问了问群里,有个热心朋友回答了,说是Spark端口,然后这个时候我还以为Spark是靠其它应用启动的 ,后来继续问,才想起来了spark是单独启动的。最后回顾了下Spark是单独启动的,MapReduce是集成的。以后遇到问题,涉及到哪方面要及时翻看之前内容,及时自我质疑,方可养成独立解决问题的能力~

  • 相关阅读:
    SQL Server 实现Split函数
    15.java设计模式之访问者模式
    14.java设计模式之命令模式
    13.java设计模式之模板模式
    12.java设计模式之代理模式
    11.java设计模式之享元模式
    10.java设计模式之外观模式
    9.java设计模式之组合模式
    8.java设计模式之装饰者模式
    7.java设计模式之桥接模式
  • 原文地址:https://www.cnblogs.com/shuai7boy/p/12548103.html
Copyright © 2011-2022 走看看