hive的行列转换

需求：

《疑犯》 悬疑,动作,科幻,爱情
《lie to me》 悬疑,警匪,动作,心理,剧情
《战狼》 战争,动作,灾难

转成如下格式：

《疑犯》 悬疑
《疑犯》 动作
《疑犯》 科幻
《疑犯》 爱情
《lie to me》 悬疑
《lie to me》 警匪
《lie to me》 动作
《lie to me》 心理
《lie to me》 剧情
《战狼》 战争
《战狼》 动作
《战狼》 灾难

思路解析：

explode函数：处理map结构的字段，将数组转换成多行

step1：建表movie_info：

--对电影的风格使用数组，所以建表时要标明数组的分隔符语句  ——  collection items terminated by ","
create table movie_info(
    movie string,
    category array<string>)
row format delimited 
fields terminated by "	"
collection items terminated by ","; 

-- 插入数据
load data local inpath "/movie_info.txt" into table movie_info;

 

查询表格：

select * from movie_info;

此时可以看到category是一个数组，并且分隔符为"，"；

 

step2：explode的使用：

explode作用：处理map结构的字段，将数组转换成多行

所以我们现在先对category使用category函数：

select explode(category) from movie_info;

结果：

如果想要得到题目的需求结果，那么需要在此结果上，每一部电影和该电影对应的category进行笛卡尔积，得到结果：

如果我们直接

select  movie，explode(category) from movie_info;

查询直接报错，因为movie的结果只有三条，而explode(category)有 4 + 5 + 3 = 12条记录。

那么，我们由此引入LATERAL VIEW函数：

 

LATERAL VIEW：

1.Lateral View 用于和UDTF函数【explode,split】结合来使用。
2.首先通过UDTF函数将数据拆分成多行，再将多行结果组合成一个支持别名的虚拟表。
3..主要解决在select使用UDTF做查询的过程中查询只能包含单个UDTF，不能包含其它字段以及多个UDTF的情况。
4.语法：LATERAL VIEW udtf(expression) tableAlias AS columnAlias (',' columnAlias)

使用LATERAL VIEW + explode 函数进行查询，语句如下：

select movie,category_name 
from movie_info
LATERAL VIEW explode(category) tmpTable as category_name;
-- category_name 是给 explode(category) 列起的别名

结果如下：

转载于：https://zhuanlan.zhihu.com/p/115913870