zoukankan      html  css  js  c++  java
  • Spark2.0 VS Spark 1.* -------SparkSession的区别

    Spark 2.0以前版本:
    val sparkConf = new SparkConf().setAppName("soyo")
        val spark = new SparkContext(sparkConf)
    
    Spark 2.0以后版本:(上面的写法兼容)
    直接用SparkSession:
    val spark = SparkSession
          .builder
          .appName("soyo")
          .getOrCreate()
        var tc = spark.sparkContext.parallelize(数据).cache()
    import org.apache.spark.{SparkConf, SparkContext}
    
    
    object text {
      def main(args: Array[String]): Unit = {
       // val conf=new SparkConf().setAppName("测试").setMaster("local[2]")
       // val sc= new SparkContext(conf)
       //  val file=sc.textFile("file:///home/soyo/桌面/spark编程测试数据/1.txt")
        val spark=SparkSession.builder().getOrCreate()
       // val file=spark.read.textFile("file:///home/soyo/桌面/spark编程测试数据/1.txt").rdd
    
        val file=spark.sparkContext.textFile("file:///home/soyo/桌面/spark编程测试数据/1.txt")
        val word=file.flatMap(lines=>lines.split(" ")).map(word=>(word,1)).reduceByKey(_+_)
         word.foreach(println)
      }
    }

    都好使!!-------2.2.0

  • 相关阅读:
    [转] CNN工作步骤解析
    [转] Attention模型结构
    [转] Boost算法
    [转] GDBT详解
    [转] Noise Contrastive Estimation 噪声对比估计 资料
    [转] 对数似然与交叉熵
    [转] ELMO
    [转] Batch Normalization
    强化学习总结
    MySQL 与 Hive 逻辑相关
  • 原文地址:https://www.cnblogs.com/soyo/p/7693326.html
Copyright © 2011-2022 走看看