2.谈一下hive的特点，以及hive和RDBMS有什么异同
3.说一下hive中sort by、order by、cluster by、distribute by各代表的意思
5.写出hive中split、coalesce及collect_list函数的用法（可举例）？
9.写出将 text.txt 文件放入 hive 中 test 表‘2016-10-10’ 分区的语句，test 的分区字段是 l_date
11.Hive 中的压缩格式TextFile、SequenceFile、RCfile 、ORCfile各有什么区别？
13.hive的两张表关联，使用mapreduce怎么实现？
1.Hive表关联查询，如何解决数据倾斜的问题
1）倾斜原因：
map输出数据按key Hash的分配到reduce中，由于key分布不均匀、业务数据本身的特、建表时考虑不周、等原因造成的reduce 上的数据量差异过大。
（1）key分布不均匀;
（2）业务数据本身的特性;
（3）建表时考虑不周;
（4）某些SQL语句本身就有数据倾斜;
如何避免：对于key为空产生的数据倾斜，可以对其赋予一个随机值。
2）解决方案
（1）参数调节：
hive.map.aggr = true
hive.groupby.skewindata=true
有数据倾斜的时候进行负载均衡，当选项设定位true,生成的查询计划会有两个MR Job。第一个MR Job中，Map的输出结果集合会随机分布到Reduce中，每个Reduce做部分聚合操作，并输出结果，这样处理的结果是相同的Group By Key有可能被分发到不同的Reduce中，从而达到负载均衡的目的；第二个MR Job再根据预处理的数据结果按照Group By Key 分布到 Reduce 中（这个过程可以保证相同的 Group By Key 被分布到同一个Reduce中），最后完成最终的聚合操作。
（2）SQL 语句调节：
① 选用join key分布最均匀的表作为驱动表。做好列裁剪和filter操作，以达到两表做join 的时候，数据量相对变小的效果。
② 大小表Join：
使用map join让小的维度表（1000 条以下的记录条数）先进内存（小表在左，大表在右）。在map端完成reduce.
③ 大表Join大表：
把空值的key变成一个字符串加上随机数，把倾斜的数据分到不同的reduce上，由于null 值关联不上，处理后并不影响最终结果。
④ count distinct大量相同特殊值:
count distinct 时，将值为空的情况单独处理，如果是计算count distinct，可以不用处理，直接过滤，在最后结果中加1。如果还有其他计算，需要进行group by，可以先将值为空的记录单独处理，再和其他计算结果进行union。
2.谈一下hive的特点，以及hive和RDBMS有什么异同
hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供完整的sql查询功能，可以将sql语句转换成mapreduce任务进行运行。它的优点就是学习成本低，可以通过类sql语句快速实现简单的mapreduce统计，不必开发专门的mapreduce应用，十分适合数据仓库的统计分析，缺点：不支持实时数据查询。
Hive与关系型数据库的区别：
4.简要描述数据库中的 null，说出null在hive底层如何存储，并解释select a.* from t1 a left outer join t2 b on a.id=b.id where b.id is null; 语句的含义
null与任何值运算的结果都是null，可以使用is null、is not null函数指定其值为null情况下的取值。
null在hive底层默认是用'N'来存储的，可以通过alter table test SET SERDEPROPERTIES('serialization.null.format' = 'a');来修改。
查询出t1表中与t2表中id相等的所有信息。
5.写出hive中split、coalesce及collect_list函数的用法（可举例）？
split将字符串转化为数组，即：split('a,b,c,d' , ',') ==> ["a","b","c","d"]。
coalesce(T v1, T v2, …) 返回参数中的第一个非空值；如果所有值都为 NULL，那么返回NULL。
collect_list列出该字段所有的值，不去重 select collect_list(id) from table。
8.hive底层与数据库交互原理
由于hive的元数据可能面临不断地更新、修改和读取操作，所以它显然不适合使用hadoop文件系统来进行存储。目前hive的元数据信息主要存储在RDBMS中，比如存储在mysql、derby中，mysql中居多。hive元数据信息主要包括：存在的表、表的列、权限等。
9.写出将 text.txt 文件放入 hive 中 test 表‘2016-10-10’ 分区的语句，test 的分区字段是 l_date
load data local inpath '/your/path/test.txt' overwrite into table test partition(1_date='2016-10-10')- 1
10.hive如何进行权限控制
目前hive支持简单的权限管理，默认情况下是不开启，这样所有的用户都具有相同的权限，同时也是超级管理员，也就对hive中的所有表都有查看和改动的权利，这样是不符合一般数据仓库的安全原则的。Hive可以是基于元数据的权限管理，也可以基于文件存储级别的权限管理。
为了使用Hive的授权机制，有两个参数必须在hive-site.xml中设置：
-
<property>
-
<name>hive.security.authorization.enabled</name>
-
<value> true</value>
-
<description> enable or disable the hive client authorization</description>
-
</property>
-
<property>
-
<name>hive.security.authorization.createtable.owner.grants</name>
-
<value>ALL</value>
-
<description>the privileges automatically granted to the owner whenever a table gets created. An example like "select,drop" will grant select and drop privilege to the owner of the table</description>
-
</property>
- 1
hive支持的权限
11.Hive 中的压缩格式TextFile、SequenceFile、RCfile 、ORCfile各有什么区别？
- TextFile：默认格式，存储方式为行存储，数据不做压缩，磁盘开销大，数据解析开销大。 可结合Gzip、Bzip2使用(系统自动检查，执行查询时自动解压)，但使用这种方式，压缩后的文件不支持split，Hive不会对数据进行切分，从而无法对数据进行并行操作。并且在反序列化过程中，必须逐个字符判断是不是分隔符和行结束符，因此反序列化开销会比SequenceFile高几十倍。
- SequenceFile：SequenceFile是Hadoop API提供的一种二进制文件支持，，存储方式为行存储，其具有使用方便、可分割、可压缩的特点。SequenceFile支持三种压缩选择：NONE，RECORD，BLOCK。Record压缩率低，一般建议使用BLOCK压缩。优势是文件和hadoop api中的MapFile是相互兼容的。
-
RCfile： 存储方式：数据按行分块，每块按列存储。结合了行存储和列存储的优点：首先，RCFile 保证同一行的数据位于同一节点，因此元组重构的开销很低；其次，像列存储一样，RCFile 能够利用列维度的数据压缩，并且能跳过不必要的列读取；
-
ORCfile：存储方式：数据按行分块 每块按照列存储。压缩快 快速列存取。效率比rcfile高,是rcfile的改良版本。
总结：相比TEXTFILE和SEQUENCEFILE，RCFILE由于列式存储方式，数据加载时性能消耗较大，但是具有较好的压缩比和查询响应。数据仓库的特点是一次写入、多次读取，因此，整体来看，RCFILE相比其余两种格式具有较明显的优势 。
13.hive的两张表关联，使用mapreduce怎么实现？
1）如果其中有一张表为小表，直接使用map端join的方式（map端加载小表）进行聚合。
2）如果两张都是大表，那么采用联合key，联合key的第一个组成部分是join on中的公共字段，第二部分是一个flag，0代表表A，1代表表B，由此让Reduce区分客户信息和订单信息；在Mapper中同时处理两张表的信息，将join on公共字段相同的数据划分到同一个分区中，进而传递到一个Reduce中，然后在Reduce中实现聚合。
3)描述数据中的null,在hive底层如何存储
null在hive底层默认是用"N"来存储的，所以在sqoop到mysql之前需要将为null的数据加工成其他字符，否则sqoop提示错误
4)Hive中 split、coalesce以及collect_list函数的用法
split将字符串转化为数组
coalesce(T v1,T v2,...) 返回参数中的第一个非空值；如果所有值都为null,那么返回null
collect_list列出该字段所有的值,不去重 select collect_list(id) from table;
5)将文件导入到hive表中
load data local inpath '/a.txt' overwrite into table test partition(xx='xx')
7)Hive的分组方式
row_number() 是没有重复值的排序(即使两天记录相等也是不重复的),可以利用它来实现分页
dense_rank() 是连续排序,两个第二名仍然跟着第三名
rank() 是跳跃排序的,两个第二名下来就是第四名