zoukankan      html  css  js  c++  java
  • Spark sql 简单示例

    Spark sql hive 整合  http://shiyanjun.cn/archives/1113.html


    都这个点了,很多同事还没有到公司,得那我就简单写个spark sql 的示例 回顾而知新,孔老子明智


    package com.ib.e3
    
    import org.apache.spark.sql.SQLContext
    import org.apache.spark.{SparkConf, SparkContext}
    /**
      * Created by xxxxoooo on 9/2/2016.
      * 不需要导入额外的jar
      */
    class SparkSQLExample {
    }
    object SparkSQLExample{
      def main(args: Array[String]) {
        val conf = new SparkConf().setAppName("sparksql").setMaster("local")
        val sc = new SparkContext(conf)
        val sql = new SQLContext(sc)
        //file 文件放在跟src平行的位置
        val df = sql.read.json("privateInfo")
        df.cache()
        //显示整个数据框
        df.show();
    
        /**
          * +---+-------+
          * |age|   name|
          * +---+-------+
          * | 18|   xiao|
          * | 20|xiaoyan|
          * | 19|    yan|
          * +---+-------+
          */
        df.printSchema()
        //root
         //|-- age: long (nullable = true)
         //|-- name: string (nullable = true)
        //以下写法经测试都对
        df.select("name").show()
        println("---1---")
        df.select(df.col("name")).show()
        df.select(df.col("name"),df.col("age")+2).show()
        println("---2---")
        // "age" + 3 不能这么写 ,reason ?
        //df.select("name","age"+3).show()
        df.filter(df.col("age").gt(18)).show()
        df.groupBy(df.col("age")).count().show()
      }
    }


    埃及 ,一个不太平但依然美丽的地方






  • 相关阅读:
    JWT
    activate-power-mode安装与设置
    redis备份与恢复
    stub_status监控Nginx使用情况!
    php-fpm,cgi,fast-cgi,nginx,php.ini,php-fpm.conf,nginx.conf
    Nginx 413 Request Entity Too Large
    Quartz作业调度框架
    mysql 查看是否存在某一张表
    JSTL 核心标签库
    J2EE maven pom.xml常用的jar包
  • 原文地址:https://www.cnblogs.com/TendToBigData/p/10501381.html
Copyright © 2011-2022 走看看