impala 表迁移方式 partquet数据文件移动方法

1、原表查询：
select count(*) from temp.table01 where stat_dt = '2024-01-09' ;
 
2、查看数据文件
hadoop fs -ls /user/hive/warehouse/temp.db/table01/stat_dt=2024-01-09
Found 2 items
-rw-r--r--   3 impala hive      11173 2019-12-10 16:57 /user/hive/warehouse/temp.db/table01/stat_dt=2024-01-09/214b1691c9ed3b01-dfd95f5f00000000_data.0.parq
-rw-r--r--   3 impala hive      10051 2019-12-10 16:57 /user/hive/warehouse/temp.db/table01/stat_dt=2024-01-09/214b1691c9ed3b01-dfd95f5f00000001_data.0.parq
 
3、创建一张表
create table temp.table02 like temp.table01
 
4、获取parquet 格式文件
hadoop fs -get  /user/hive/warehouse/temp.db/table01/stat_dt=2024-01-09/214b1691c9ed3b01-dfd95f5f00000000_data.0.parq
hadoop fs -get  /user/hive/warehouse/temp.db/table01/stat_dt=2024-01-09/214b1691c9ed3b01-dfd95f5f00000001_data.0.parq
 
5、创建分区目录
hadoop fs -mkdir /user/hive/warehouse/temp.db/table02/stat_dt=2024-01-09
 
6、上传partquet文件
hadoop fs -put 214b1691c9ed3b01-dfd95f5f00000000_894437036_data.0.parq /user/hive/warehouse/temp.db/table02/stat_dt=2024-01-09/
hadoop fs -put 214b1691c9ed3b01-dfd95f5f00000001_1509455238_data.0.parq /user/hive/warehouse/temp.db/table02/stat_dt=2024-01-09/

7、Hive中修复表信息
msck REPAIR TABLE temp.table02;
 
8、Impala 中刷新元数据
Invalidate  metadata temp.table02;
 
9、进行查询
select * from  temp.table02;
可以显示结果
 
总结：我们可以迁移partquet 文件到指定分区，然后进行查询数据。