zoukankan      html  css  js  c++  java
  • Spark源码(1) Spark配置

    写熟悉的第一句代码

    val conf = new SparkConf().setAppName("WordCount")
    点击SparkConf() ,发现

    private val settings = new ConcurrentHashMap[String, String]()

    可见 所有配置都是以map[String,String]定义的

    //即loadDefaults == true
    def this() = this(true)
    //
    if
    (loadDefaults) {
      //加载系统默认配置 loadFromSystemProperties(
    false) } private[spark] def loadFromSystemProperties(silent: Boolean): SparkConf = { // Load any spark.* system properties 加载所有spark* 开头的系统属性 for ((key, value) <- Utils.getSystemProperties if key.startsWith("spark.")) { set(key, value, silent) } this } /** Set a configuration variable. */ 自己设置属性 def set(key: String, value: String): SparkConf = { set(key, value, false) }
    //开头所写的第一句代码即调用该方法 , 该方法又调用set方法 , 完成配置
    def setAppName(name: String): SparkConf = {
    set("spark.app.name", name)
    }
     
    我凝视这恒星,等待这那场风暴,我已经准备好了
  • 相关阅读:
    Spring小结
    ByteBuffer使用之道
    NIO组件Selector调用实例
    NIO组件Selector详解
    NIO机制总结
    NIO组件Selector工作机制详解(下)
    javascriptBOM_DOM
    【前端】javascript基础学习
    【前端】CSS基础学习
    【mongodb】比较符及修改器
  • 原文地址:https://www.cnblogs.com/cheng5350/p/11869767.html
Copyright © 2011-2022 走看看