今天我们再谈谈Hive中的三种不同的数据导出方式。
依据导出的地方不一样,将这些方式分为三种:
(1)、导出到本地文件系统。
(2)、导出到HDFS中;
(3)、导出到Hive的还有一个表中。
为了避免单纯的文字,我将一步一步地用命令进行说明。
一、导出到本地文件系统
这条HQL的执行须要启用Mapreduce完毕,执行完这条语句之后,将会在本地文件系统的/home/wyp/wyp文件夹下生成文件,这个文件是Reduce产生的结果(这里生成的文件名称是000000_0)。我们能够看看这个文件的内容:
能够看出。这就是wyp表中的全部数据。数据中的列与列之间的分隔符是^A(ascii码是 0001)。
和导入数据到Hive不一样。不能用insert into来将数据导出:
二、导出到HDFS中
和导入数据到本地文件系统一样的简单,能够用以下的语句实现:
将会在HDFS的/home/wyp/hdfs文件夹下保存导出来的数据。
三、导出到Hive的还有一个表中
这也是Hive的数据导入方式,例如以下操作:
细心的读者可能会问,怎么导入数据到文件里,数据的列之间为什么不是wyp表设定的列分隔符呢?事实上在Hive 0.11.0版本号之间,数据的导出是不能指定列之间的分隔符的,仅仅能用默认的列分隔符,也就是上面的^A来切割。这样导出来的数据非常不直观。看起来非常不方便!
假设你用的Hive版本号是0.11.0。那么你能够在导出数据的时候来指定列之间的分隔符。
以下具体介绍:
依据上面内容。我们来进一步操作:
事实上。我们还能够用hive的-e和-f參数来导出数据。当中-e 表示后面直接接带双引號的sql语句;而-f是接一个文件,文件的内容为一个sql语句,例如以下:
得到的结果也是用 切割的。也能够用-f參数实现:
依据导出的地方不一样,将这些方式分为三种:
(1)、导出到本地文件系统。
(2)、导出到HDFS中;
(3)、导出到Hive的还有一个表中。
为了避免单纯的文字,我将一步一步地用命令进行说明。
一、导出到本地文件系统
这条HQL的执行须要启用Mapreduce完毕,执行完这条语句之后,将会在本地文件系统的/home/wyp/wyp文件夹下生成文件,这个文件是Reduce产生的结果(这里生成的文件名称是000000_0)。我们能够看看这个文件的内容:
能够看出。这就是wyp表中的全部数据。数据中的列与列之间的分隔符是^A(ascii码是 0001)。
和导入数据到Hive不一样。不能用insert into来将数据导出:
二、导出到HDFS中
和导入数据到本地文件系统一样的简单,能够用以下的语句实现:
将会在HDFS的/home/wyp/hdfs文件夹下保存导出来的数据。
注意,和导出文件到本地文件系统的HQL少一个local,数据的存放路径就不一样了。
三、导出到Hive的还有一个表中
这也是Hive的数据导入方式,例如以下操作:
细心的读者可能会问,怎么导入数据到文件里,数据的列之间为什么不是wyp表设定的列分隔符呢?事实上在Hive 0.11.0版本号之间,数据的导出是不能指定列之间的分隔符的,仅仅能用默认的列分隔符,也就是上面的^A来切割。这样导出来的数据非常不直观。看起来非常不方便!
假设你用的Hive版本号是0.11.0。那么你能够在导出数据的时候来指定列之间的分隔符。
以下具体介绍:
依据上面内容。我们来进一步操作:
事实上。我们还能够用hive的-e和-f參数来导出数据。当中-e 表示后面直接接带双引號的sql语句;而-f是接一个文件,文件的内容为一个sql语句,例如以下:
得到的结果也是用 切割的。也能够用-f參数实现:
上述语句得到的结果也是 切割的。