zoukankan      html  css  js  c++  java
  • Spark Sql (save and load)

    load:加载数据 ,使其变成dataframe

    save:保存数据 

    load和save默认使用的是parquet格式,当然也可以通过format("json"), format("parquet")转换

    SparkConf conf = new SparkConf().setMaster("local").setAppName("local run")//本地运行

    JavaSparkContext sc = new JacaSparkContext(conf);

    SQLContext sqlContext = new SQLContext(sc);

    DataFrameReader reader = sqlContext.read();

    DataFrame frame = reader.format("json").load("path")//读取json格式

    frame.select("name").write().save("path");//write是生成dataFrameWriter对象   save()保存为parquet格式  可以通过format转换

    SparkSQL写入模式分为很多种

    默认为ERRORIFEISTS

    可以对此进行修改

    write().mode(SaveMode.Append).save(path)//通过叠加文件的方式

    parquest的叠加方式为增加文件

    json的叠加方式为在同一个文件append

  • 相关阅读:
    JS和Flash相互调用
    xml的应用
    随机验证码
    模块 time
    第一天 注册成功
    我的第一篇博客
    git
    2018-02-27
    25
    建站之星
  • 原文地址:https://www.cnblogs.com/wjsshide/p/5561332.html
Copyright © 2011-2022 走看看