zoukankan      html  css  js  c++  java
  • Spark学习之Spark SQL(8)

    Spark学习之Spark SQL(8)

    1. Spark用来操作结构化和半结构化数据的接口——Spark SQL、

    2. Spark SQL的三大功能

    2.1 Spark SQL可以从各种结构化数据(例如JSON、Hive、Parquet等)中读取数据。
    2.2 Spark SQL不仅支持在Spark程序内使用SQL语句进行查询,也支持从类似商业智能软件Tableau这样的外部工具中通过标准数据库连接器(JDBC/ODBC)连接Spark SQL进行查询。
    2.3 当在Spark程序内使用Spark SQL时,Spark SQL支持SQ与常规的Python/Java/Scala代码高度整合,包括连接RDD与SQL表、公开的自定义SQL函数接口等。
    

    3. SchemaRDD(1.3版本后为DataFrame)是存放Row对象的RDD,每个Row对象代表一行记录。SchemaRDD还包含记录的结果信息(即数据字段)。

    4. 连接Spark SQL

    带有Hive支持的Spark SQL的Maven索引
    
        groupID =org.apache.spark
        artifactID = spark-hive_2.10
        version = 1.2.0

    5. 在应用使用Spark

    5.1 初始化Spark
    
            //Sacla中SQL的import的声明
            import org.apache.spark.sql.hive.HiveContext
            import org.apache.spark.sql.SQLContext
            //Scala中SQL导入隐式转换支持
            val hiveCtx = ...//创建HiveContext
            import hiveCtx._//导入隐式转换支持
            //创建SQL上下文环境
            val sc = new SparkContext(...)
            val hiveCtx = new HiveContext(sc)
    5.2 基本的查询示例
    
            val input = hiveCtx.jsonFile(inputFile)
            //注册输入的SchemaRDD
            input.registerTempTable("tweets")
            //依据tetwwtCount(转发计算)宣传推文
            val topTweeter = hiveCtx.sql("SELECT text,retweetCount FROM tweets ORDER BY retweetCount LIMIT 10")

    6. 用户自定义函数(UDF)

    Scala版本的字符串长度UDF
    
        registerFunction("strLenScala",(_:string).length)
        val tweetLength = hiveCtx.sql("SELECT strLenScala('tweet') FROM tweets LIMIT 10")
  • 相关阅读:
    Nginx 提示host not found in upstream 错误解决方法
    使用Vmware CLI 6.5控制虚拟机,并做快照
    在 Windows服务器中启用/禁用SMBv1、SMBv2和SMBv3的方法
    使用python调用wps v9转换office文件到pdf
    Tomcat延迟启动
    配置frp
    PowerDesigner逆向生成MYSQL数据库表结构总结
    windows下载安装MariaDB10.2.17 绿色版
    Mosquitto --topic
    Jmeter也能IP欺骗!
  • 原文地址:https://www.cnblogs.com/lanzhi/p/6467788.html
Copyright © 2011-2022 走看看