zoukankan      html  css  js  c++  java
  • 2020寒假(7)

    今天进行实验五,主要学习了spark sql的基本操作,其相对于其他的sql语句(mysql,hive sql等)有很大差别,其可以为某个数据数组或者结构数组等创建DataFrame,通过DataFrame来对数据进行各种操作,包括查询,去重,筛选,分组,排序等等。

    1.Spark SQL 基本操作
    将下列 JSON 格式数据复制到 Linux 系统中,并保存命名为 employee.json。
    { "id":1 , "name":" Ella" , "age":36 }
    { "id":2, "name":"Bob","age":29 }
    { "id":3 , "name":"Jack","age":29 }
    { "id":4 , "name":"Jim","age":28 }
    { "id":4 , "name":"Jim","age":28 }
    { "id":5 , "name":"Damon" }
    { "id":5 , "name":"Damon" }
    为 employee.json 创建 DataFrame,并写出 Scala 语句完成下列操作:
    (1) 查询所有数据;
     
    (2) 查询所有数据,并去除重复的数据;
    (3) 查询所有数据,打印时去除 id 字段;
    (4) 筛选出 age>30 的记录;
    (5) 将数据按 age 分组;
    (6) 将数据按 name 升序排列;
    (7) 取出前 3 行数据;
    (8) 查询所有记录的 name 列,并为其取别名为 username;
    (9) 查询年龄 age 的平均值;
    (10) 查询年龄 age 的最小值。

     

     

  • 相关阅读:
    无向图的双连通分量
    以管理员身份运行软件cmd命令
    异或
    递推求解DAG最长路径长度及最长路径条数
    有向图转强连通图最少加边数
    Tarjan强连通分量(scc)
    uni封装request请求
    生命周期
    页面路由,以及传值
    WXS 模块
  • 原文地址:https://www.cnblogs.com/zjl-0217/p/12297543.html
Copyright © 2011-2022 走看看