zoukankan      html  css  js  c++  java
  • Spark数据读取

      用惯了python或者R语言的DataFrame格式,对spark的RDD编程模式一开始上手可能有点不习惯。本文简单梳理一下spark中常用的RDD操作。

    1.初始化spark环境

    2.读取本地文件

      读取本地文件之后,一般都是转换成Row类型RDD,方便后续操作;同时RDD转成DataFrame前,一定要先转化成Row类型的RDD。

      当然,也可以将读取文件和转化成Row类型RDD写在一行代码中:

     

    3.RDD转成DataFrame

      当然,我们依然可以用一行代码,将2、3步合并为一步,直接将读取的RDD转化成DataFrame,结果和上面是一样的;代码的含义为:选取了第1、2、3、4列生成DataFrame,列名为"id","orders","sumPrice","avgPrice"。

    4.Spark Sql直接读取csv文件为DataFrame

      如果是csv格式文件,可以直接利用spark sql读取成DataFrame,其中"com.databricks.spark.csv",是利用到了由databricks公司开发并开源外部数据源接口,通过这个类库我们才可以在spark sql中解析并查询CSV中的数据。

     

    5.数据类型转换

      spark默认以String类型读取本地数据,我们可以根据需求,在读取数据过程中进行数据类型转换,例如转换成Double类型:

     

      也可以用map函数将指定的列进行数据类型转换,其他列不变;例如只将第2、3个字段转换成Double:

  • 相关阅读:
    bzoj 1084: [SCOI2005]最大子矩阵
    Python之深浅拷贝
    2,版本控制git --分支
    1,版本控制git--仓库管理
    python-openpyxl操作excel
    ansible-3
    ansible-2
    ansible-1
    celery
    6,MongoDB 之 Array Object 的特殊操作
  • 原文地址:https://www.cnblogs.com/solong1989/p/9342589.html
Copyright © 2011-2022 走看看