zoukankan      html  css  js  c++  java
  • pig分组统计例子

    1.选取数据样本
    在pig安装目录下有一个文件tutorial/data/excite-small.log,其中的数据分为3列,中间用制表符分隔,第一列为用户ID,第二列为Unix时间戳,第三列为查询记录。
    首先从该文件选取40条记录作为样本,另存为文件pig-testdata.log,上传到目录/zwy/soft中,如下:

    2A9EABFB35F5B954	970916105432	+md foods +proteins
    BED75271605EBD0C	970916001949	yahoo chat
    BED75271605EBD0C	970916001954	yahoo chat
    BED75271605EBD0C	970916003523	yahoo chat
    BED75271605EBD0C	970916011322	yahoo search
    BED75271605EBD0C	970916011404	yahoo chat
    BED75271605EBD0C	970916011422	yahoo chat
    BED75271605EBD0C	970916012756	yahoo caht
    BED75271605EBD0C	970916012816	yahoo chat
    BED75271605EBD0C	970916023603	yahoo chat
    BED75271605EBD0C	970916025458	yahoo caht
    BED75271605EBD0C	970916025516	yahoo chat
    BED75271605EBD0C	970916030348	yahoo chat
    

    2.输入下面命令开启grunt shell,进入pig本地模式

    pig -x local
    

    3.在Grunt Shell中输入如下命令,将数据装载到一个称为log的别名中。

    grunt>log = LOAD '/zwy/soft/pig-testdata.log' AS (user,time,query);
    

    注意:等号左右需要有空格,否则命令不起作用。

    4.查看别名log的4个元组

    grunt>lmt = LIMIT log 4;
    grunt>DUMP lmt;
    

    返回结果如下:

    5.对log进行分组,并输出分组后信息

    grunt>grpd = GROUP log BY user;
    Grunt>cntd = FOREACH grpd GENERATE group,COUNT(log);
    Grunt>DUMP cntd;
    

    输出结果如下:

  • 相关阅读:
    JQuery学习四(过滤选择器)
    JQuery学习三(隐式迭代和节点遍历)
    JQuery学习二(获取元素控件并控制)
    JQuery学习一
    Dom中select练习
    DOM动态操纵控件案例
    DOM学习控件定位和案例
    DOM案例五星评分控件
    DOM动态增加控件
    DOM用TagName操作标签
  • 原文地址:https://www.cnblogs.com/dreamboy/p/10417891.html
Copyright © 2011-2022 走看看