zoukankan      html  css  js  c++  java
  • Spark数据读取

      用惯了python或者R语言的DataFrame格式,对spark的RDD编程模式一开始上手可能有点不习惯。本文简单梳理一下spark中常用的RDD操作。

    1.初始化spark环境

    2.读取本地文件

      读取本地文件之后,一般都是转换成Row类型RDD,方便后续操作;同时RDD转成DataFrame前,一定要先转化成Row类型的RDD。

      当然,也可以将读取文件和转化成Row类型RDD写在一行代码中:

     

    3.RDD转成DataFrame

      当然,我们依然可以用一行代码,将2、3步合并为一步,直接将读取的RDD转化成DataFrame,结果和上面是一样的;代码的含义为:选取了第1、2、3、4列生成DataFrame,列名为"id","orders","sumPrice","avgPrice"。

    4.Spark Sql直接读取csv文件为DataFrame

      如果是csv格式文件,可以直接利用spark sql读取成DataFrame,其中"com.databricks.spark.csv",是利用到了由databricks公司开发并开源外部数据源接口,通过这个类库我们才可以在spark sql中解析并查询CSV中的数据。

     

    5.数据类型转换

      spark默认以String类型读取本地数据,我们可以根据需求,在读取数据过程中进行数据类型转换,例如转换成Double类型:

     

      也可以用map函数将指定的列进行数据类型转换,其他列不变;例如只将第2、3个字段转换成Double:

  • 相关阅读:
    Android调用WebService
    webKit和chromium的文章地址
    关注web前端
    第三次面向对象程序设计作业
    第二次面向对象程序设计作业
    面向对象程序作业一
    HashMap的存储原理
    关于MySql中使用IFNULL()函数失效的问题。
    利用反射操作bean的属性和方法
    几种String对象方法的区别
  • 原文地址:https://www.cnblogs.com/solong1989/p/9342589.html
Copyright © 2011-2022 走看看