写在前面的话：
该系列博文是我学习《 Hive源码解析与开发实战》视频课程的一个笔记，或者说总结，暂时没有对视频中的操作去做验证，只是纯粹的学习记录。
有兴趣看该视频的博友可以留言，我会共享出来，相互交流学习 ^.^。
*********************************************************************************************************
一、Hive的高级查询：
1.1、查询操作：
1、Order by ：
按照某些字段排序。
样例：
select col1，other....
from table
where condition
order by col1,col2 [asc|desc];
这里order by 后面接几个列，每个列后面都可以接一个[asc|desc]表明是按照升序还是降序排列。
order by 由于是全局排序的，所以只能在一个reduce进行操作，因此如果当数据量太大的时候，不要轻易使用order by，这样的话会使大量的数据都跑到一个reduce中运行，如果reduce内存比较小，可能会报内存溢出，即便内存很大，也会花费很长时间，并且不管配置了有多少个reduce，都只会使用一个reduce。sort by 则是每一个reduce中排序，可能对应有多个reduce。
实验：
1.2、mapreduce底层实现：
1、order by实现原理：
上图过程解释：
首先左边是一个表，表目录下面可能有多个文件，这些文件通过一些map来进行读取。即：map从表中读取数据，并执行where条件，也就是说，where是在map中执行的，在map中执行where的好处是可以过滤掉一部分数据，从而传递给reduce的数据会少一些，减少了reduce的计算量并且减少了网络io。然后如果order by是按照col1和col2进行排序的话，那么map会将col1和col2的值组合为一个key，其他的值组合成一个value，然后传到一个reduce中去。
二、几个简单的聚合操作：
所谓的聚合操作，就是通过一个集合来算一个值。
2.1、count 计数：
count(*) : 所有字段的值都不是null的时候，计数才会算上该条记录；
count(1) ： 只要有记录，不管是否字段值为空，那么计数就会算上该条记录；
count(col) :类似count(*)，只不过count(col)是固定在某一列进行判断，也就是如果某一条记录的col字段值为NULL的话，那么计数是不算该条记录的；
2.2、sum求和：
sum(可转化为数字的值)返回bigint；如果传入的某个字段是String类型的话，它会将其转化为bigint再求和；如果用sum求和再加1的话，这个时候会报异常，因为sum返回的是bigint，我们需要把1转化为bigint，比如：sum(col)+1是不行的，必须这样sum(col)+cast(1 as bigint)
2.3、avg求平均值：
avg(可转化成数字的值)返回double；
2.4、distinct 不同值个数：
比如说统计某个字段值去重之后的个数：count(distinct col); 也就是该字段相同的几个值作为一个值来计数。当然distinct也可以单独使用。