zoukankan      html  css  js  c++  java
  • spark SQL

    参考文献:https://www.ibm.com/developerworks/cn/opensource/os-cn-spark-practice3/index.html

    大数据工程师们开始探索如何使用类 SQL 的方式来操作和分析大数据,通过大量的努力,目前业界已经出现很多 SQL on Hadoop 的方案,如 Hive, Impala 等。Spark SQL 就是其中的一个,实际上 Spark SQL 并不是一开始就存在于 Spark 生态系统里的,它的前身是 Shark

    Spark SQL 是 Spark 生态系统里用于处理结构化大数据的模块
    Spark DataFrame 以 RDD 为基础,但是带有 Schema 信息,它类似于传统数据库中的二维表格
    一旦将 DataFrame 注册成临时表,我们就可以使用类 SQL 的方式操作这些数据
    当前支持的数据源有:Json、文本文件、RDD、关系数据库、Hive、Parquet

  • 相关阅读:
    UVa 107 The Cat in the Hat
    UVa 591 Box of Bricks
    UVa 253 Cube painting
    UVa 10161 Ant on a Chessboard
    UVa 401 Palindromes
    UVa 465 Overflow
    我不知道
    消防局的设立
    某CF的D
    保安站岗
  • 原文地址:https://www.cnblogs.com/testzcy/p/9460250.html
Copyright © 2011-2022 走看看