zoukankan      html  css  js  c++  java
  • Hive中rank()、row_number()函数的用法

    1. 函数说明

    rank() 排序相同时会重复,总数不会变

    dense_rank() 排序相同时会重复,总数会减少

    row_number() 会根据顺序计算

    2. 操作案例

    2.1 数据准备

    孙悟空	语文	87
    孙悟空	数学	95
    孙悟空	英语	68
    唐僧	语文	94
    唐僧	数学	56
    唐僧	英语	84
    猪八戒	语文	64
    猪八戒	数学	86
    猪八戒	英语	84
    沙僧	语文	65
    沙僧	数学	85
    沙僧	英语	78
    

      创建hive 表,导入数据。

    [fanl@centos7 ~]$ vi score.txt
    [fanl@centos7 ~]$ cd /opt/modules/cdh5.14.2/hive-1.1.0-cdh5.14.2/
    [fanl@centos7 hive-1.1.0-cdh5.14.2]$ bin/hive
     
    hive (default)> create table score(
                  > name string,
                  > subject string,
                  > socre int)
                  > row format delimited fields terminated by '	';
    OK
    Time taken: 4.504 seconds
    hive (default)> load data local inpath '/home/fanl/score.txt' into table score;
    Loading data to table default.score
    Table default.score stats: [numFiles=1, totalSize=17239]
    OK
    Time taken: 0.76 seconds
    hive (default)>
    

      

    2.2 实际操作

    需求:计算每门学科成绩排名

    分析:按照学科分组,再按照成绩排序,使用partition by subject order by score

    (1)row_number()仅仅是加了序号

    hive (default)> select name,subject,score,row_number() 
    > over(partition by subject order by score desc) as rank from score;
    OK
    name	subject	score	rank
    孙悟空	数学	95	1
    猪八戒	数学	86	2
    沙僧	数学	85	3
    唐僧	数学	56	4
    猪八戒	英语	84	1
    唐僧	英语	84	2
    沙僧	英语	78	3
    孙悟空	英语	68	4
    唐僧	语文	94	1
    孙悟空	语文	87	2
    沙僧	语文	65	3
    猪八戒	语文	64	4
    

      (2)rank() 可以显示相同的数据,下一名的排序+1,即为跳跃排序

    hive (default)> select name,subject,score,rank() 
    > over(partition by subject order by score desc) as rank from score;
    OK
    name	subject	score	rank
    孙悟空	数学	95	1
    猪八戒	数学	86	2
    沙僧	数学	85	3
    唐僧	数学	56	4
    猪八戒	英语	84	1
    唐僧	英语	84	1
    沙僧	英语	78	3
    孙悟空	英语	68	4
    唐僧	语文	94	1
    孙悟空	语文	87	2
    沙僧	语文	65	3
    猪八戒	语文	64	4
    

      (3)dense_rank(),即使有相同的数据,也会按照连续排序

    hive (default)> select name,subject,score,dense_rank() 
    > over(partition by subject order by score desc) as rank from score;
    OK
    name	subject	score	rank
    孙悟空	数学	95	1
    猪八戒	数学	86	2
    沙僧	数学	85	3
    唐僧	数学	56	4
    猪八戒	英语	84	1
    唐僧	英语	84	1
    沙僧	英语	78	2
    孙悟空	英语	68	3
    唐僧	语文	94	1
    孙悟空	语文	87	2
    沙僧	语文	65	3
    猪八戒	语文	64	4
    

      

  • 相关阅读:
    window.loaction.href 不自动跳转的问题
    SQL语句
    C# 里面swith的或者
    跨域
    memcached总结
    应用 memcached 提升站点性能
    安装和使用 memcached
    Unity3D学习笔记(三十):Lua
    Unity3D学习笔记(二十九):AssetBundle
    Unity3D学习笔记(二十八):Editor
  • 原文地址:https://www.cnblogs.com/LIAOBO/p/14951277.html
Copyright © 2011-2022 走看看