zoukankan      html  css  js  c++  java
  • SparkSQL——SQLContext的使用

    SQLContext的使用

    SQLContext在Spark1.6中使用,在spark2.x中已经标记为过时,不推荐使用。

    示例代码
    package com.spark
    
    import org.apache.spark.{SparkConf, SparkContext}
    import org.apache.spark.sql.SQLContext
    
    /*
      SQLContext的使用
     */
    object SQLContextAPP {
    
      def main(args: Array[String]): Unit = {
        val path="E:\data\people.json"
    
        //1)创建相应的Context
        val sparkConf=new SparkConf()
        sparkConf.setAppName("SQLContextApp").setMaster("local[2]")
        val sc= new SparkContext(sparkConf)
        val sqlContext =new SQLContext(sc)
    
        //2)相关的处理
        val people=sqlContext.read.format("json").load(path)
        people.printSchema()
        people.show()
    
    
        //3)关闭资源
        sc.stop()
      }
    }
  • 相关阅读:
    hdu 1058
    hdu 1003
    hdu 1500
    hdu 1083 最大匹配
    hdu 1370 中国剩余定理
    hdu 1299 数论 分解素因子
    hdu 1299
    poj 1144 求割点
    hdu 1068 最大独立集合
    hdu 1054
  • 原文地址:https://www.cnblogs.com/aishanyishi/p/10317908.html
Copyright © 2011-2022 走看看