zoukankan      html  css  js  c++  java
  • sparkSQL——DataFrame&Datasets

    对于新司机,可能看到sc与spark不知道是什么,看图知意

    ***************************************************************************************************************************************

    DataFrame.map(_.split("::"))报错 error: value split is not a member of org.apache.spark.sql.Row

    看到下图红框报错处Row,想起DataFrame里的Row对象,虽然每一行是一列数据,但是需要将Row对象转换成String对象,才可以走split方法

    看下图,

    spark.read.json返回类型是DataFrame

    spark.read.textFile返回类型是Dataset

    ***************************************************************************************************************************************

    由于 RDD、DataFrame、DataSets 之间是可以相互转化的,所以可通过多种方式读取数据,并进行互相进行转化

    如下图:

    ***************************************************************************************************************************************

    接下来这是另一个错,算是,恩,算是什么呢?

    ***************************************************************************************************************************************

    来看一个join的例子

    或者使用下面的方式,如果用左联接的话,只需要将inner改为leftouter

    ***************************************************************************************************************************************

     创建临时表

    ***************************************************************************************************************************************

    创建全局表

  • 相关阅读:
    java socket知识点
    java io流缓冲理解
    如何理解java回电话
    它们的定义Adapterg在etView( )正在使用View.setTag()与不同的是不使用。
    打造你自己ajax上传图片
    POJ 1166 The Clocks
    spring-framework-3.2.4.RELEASE 综合hibernate-release-4.3.5.Final一个错误Caused by: java.lang.NoClassDefFound
    [Android]Volley源代码分析(店)应用
    金融脱媒砸进?
    音乐家演奏乐器
  • 原文地址:https://www.cnblogs.com/sorco/p/7107581.html
Copyright © 2011-2022 走看看