zoukankan      html  css  js  c++  java
  • spark读取HDFS目录时报错Failed on local exception: com.google.protobuf.InvalidProtocolBufferException

    提交命令sc.textFile(“hdfs://hadoop101:50070/data/wordcount.txt”).collect()

    spark报异常

     

    这里时HDFS端口问题,将50070端口改为8020再提交
    sc.textFile(“hdfs://hadoop101:8020/data/wordcount.txt”).collect()

    单独安装的Hadoop的fs.defaultFS默认端口号为50070,而CDH中默认为8020。

    比如可以使用"hdfs://namenode:8020/user/asin/test.txt"在程序中访问你的文件。

    二、启动进程过多,会使spark报错:ERROR XSDB6: Another instance of Derby may have already booted the database /export/servers/spark/metastore_db.

    解决方案如下:

  • 相关阅读:
    shell test条件判断
    shell 变量
    shell 流程结构
    shell 正则表达式
    shell脚本常用参数
    snmp 简单的网络管理协议
    linux
    nmap
    git 基础操作
    linux 下 svn 更新代码
  • 原文地址:https://www.cnblogs.com/xiaofengzai/p/14235051.html
Copyright © 2011-2022 走看看