zoukankan      html  css  js  c++  java
  • 【异常】Spark UI界面异常、CRT不能退格/删除、不能查看DAG图、Windows系统下运行程序出错

    目录

     一、IDEA运行Spark项目UI界面图片展示异常

    二、解决spark-shell中不能输入退格/删除,设置CRT

     三、解决Spark的webUI不能查看DAG图

    四、Windows系统下运行hadoop、spark程序出错

      1)Windows系统下运行hadoop、spark程序出错Could not locate executablenullinwinutils.exe in the Hadoop binaries

      2)在windows上运行Hadoop、Spark出现异常:UnsatisfiedLinkError: org.apache.hadoop.io.nativeio.NativeIO$Windows.access0(Ljava/lang/String;I)Z


     一、IDEA运行Spark项目UI界面图片展示异常

    后台报错:
    java.lang.NoSuchMethodError: javax.servlet.http.HttpServletRequest.isAsyncSupported()Z
    并且UI界面打开之后,不能加载图片。

    在HttpServletRequest类中确实没有找到isAsyncSupported方法。在提示的两个版本的jar包中都没有找到这个方法。

    从依赖的maven中的javax.servlet的api包有2.5版本和3.1版本的,所以把低版本的删除掉:
     项目右键,选择open module settings,选择低版本的移除掉就可以了。

    如果上面的做法不能解决问题,那么就在最头上添加依赖:

    <dependency>
    <groupId>javax.servlet</groupId>
    <artifactId>javax.servlet-api</artifactId>
    <version>3.0.1</version>
    </dependency>

    二、解决spark-shell中不能输入退格/删除,设置CRT

    参考:https://blog.csdn.net/u012102306/article/details/51013217

     配好了Spark集群后,先用pyspark写了两个小例子,但是发现Tab键没有提示,于是打算转到scala上试试,在spark-shell下有提示了,但是发现不能退格,而且提示也不是复写,而是追加,这样根本就没法写程序.

    解决办法:

    1.打开会话选项


    2.终端-仿真    在终端中选择Linux


    3.映射键   勾选两个选项


    4.至此已经成功了,但是如果远程长时间未操作 就会中断连接,下次再操作时需要等待,其实也很影响使用,在这里也附上解决办法(可选)

    修改这个CRT的背景颜色,上面的操作之后的背景颜色是黑色,现在改成白色,不要进行勾选:


     三、解决Spark的webUI不能查看DAG图

    不能查看DAG图,是因为360浏览器默认是使用的兼容模式,要改为急速模式:


    四、Windows系统下运行hadoop、spark程序出错

    1)Windows系统下运行hadoop、spark程序出错Could not locate executablenullinwinutils.exe in the Hadoop binaries

    winutils.exe是在Windows系统上需要的hadoop调试环境工具,里面包含一些在Windows系统下调试hadoop、spark所需要的基本的工具类,另外在使用eclipse调试hadoop程序是,也需要winutils.exe,需要配置上面的环境变量。

    1)下载winutils,注意需要与hadoop的版本相对应。

    因为我的IDEA中使用的Hadoop是2.6,所以下载对应的版本:hadoop-common-2.6.0-bin-master.zip

    2)解压,并在windows上配置系统环境变量:

    新建:HADOOP_HOME=D:HuQiaoMei uoze_softwarehadoop-common-2.6.0-bin-master

    path前面加:%HADOOP_HOME%in

    3)在编写的代码中添加:
    System.setProperty("hadoop.home.dir", "D:\HuQiaoMei\ruoze_software\hadoop-common-2.6.0-bin-master")

    需要在sparkConf下加上一句:```System.setProperty("hadoop.home.dir", "D:\HuQiaoMei\ruoze_software\hadoop-common-2.6.0-bin-master");```。

    参考:https://blog.csdn.net/love666666shen/article/details/78812622

    2)在windows上运行Hadoop、Spark出现异常:UnsatisfiedLinkError: org.apache.hadoop.io.nativeio.NativeIO$Windows.access0(Ljava/lang/String;I)Z

    解决办法:
    将D:HuQiaoMei uoze_softwarehadoop-common-2.6.0-bin-master复制到C:WindowsSystem32下

  • 相关阅读:
    Jzoj3895 数字对
    Jzoj3895 数字对
    Jzoj3894 改造二叉树
    Jzoj3894 改造二叉树
    Jzoj3883 线段树
    Jzoj3883 线段树
    Jzoj3882 近邻
    Jzoj3882 近邻
    第三十一天 how can I 坚持
    第三十天 how can I 坚持
  • 原文地址:https://www.cnblogs.com/huomei/p/12096653.html
Copyright © 2011-2022 走看看