zoukankan      html  css  js  c++  java
  • Spark -14:spark Hadoop 高可用模式下读写hdfs

    第一种,通过配置文件

      val sc = new SparkContext()

        sc.hadoopConfiguration.set("fs.defaultFS", "hdfs://cluster1");
        sc.hadoopConfiguration.set("dfs.nameservices", "cluster1");
        sc.hadoopConfiguration.set("dfs.ha.namenodes.cluster1", "nn1,nn2");
        sc.hadoopConfiguration.set("dfs.namenode.rpc-address.cluster1.nn1", "namenode001:8020");
        sc.hadoopConfiguration.set("dfs.namenode.rpc-address.cluster1.nn2", "namenode002:8020");
        sc.hadoopConfiguration.set("dfs.client.failover.proxy.provider.cluster1", "org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider");

    第二种,通过Java代码

       val conf = new SparkConf().setAppName("Spark Word Count") 
        val sc = new SparkContext()
        sc.hadoopConfiguration.addResource("cluster1/core-site.xml")
        sc.hadoopConfiguration.addResource("cluster1/hdfs-site.xml")

  • 相关阅读:
    css 图片的无缝滚动
    有时间研究下这个
    js的类数组对象
    js的this什么时候会出现报错
    js前端分页
    js队列
    js前端处理url中的参数为对象
    随机看的一点代码
    js的callee和caller方法
    js的Object和Function
  • 原文地址:https://www.cnblogs.com/nucdy/p/6917701.html
Copyright © 2011-2022 走看看