zoukankan      html  css  js  c++  java
  • hbase结合hive和sqoop实现数据指导mysql

    hive综合hbase两个优势表中的: 
       1.实现数据导入到MYSQL。 
       2.实现hbase表转换为另外一张hbase表。
     


    三个操作环节: 
        1.hbase关联hive作为外部表: 
    Sql代码  收藏代码
    1. CREATE EXTERNAL TABLE hive_device_app(row_key string,genera_type string,install_type string,label string,meid string,model string,pkg_name string,specific_type string)   
    2. STORED BY 'org.apache.hadoop.hive.hbase.HBaseStorageHandler'   
    3. WITH SERDEPROPERTIES ("hbase.columns.mapping" = ":key,cf:genera_type,cf:install_type,cf:label,cf:meid,cf:model,cf:pkg_name,cf:specific_type")   
    4. TBLPROPERTIES("hbase.table.name" = "tb_yl_device_app_info1");  


       2.hbase真正关联hive,hive的插入更新等操作直接影响hbase中的数据 
     
    Sql代码  收藏代码
    1. CREATE  TABLE hbase_device_app(row_key string,genera_type string,install_type string,label string,meid string,model string,pkg_name string,specific_type string)   
    2. STORED BY 'org.apache.hadoop.hive.hbase.HBaseStorageHandler'   
    3. WITH SERDEPROPERTIES ("hbase.columns.mapping" = ":key,cf:genera_type,cf:install_type,cf:label,cf:meid,cf:model,cf:pkg_name,cf:specific_type")   
    4. TBLPROPERTIES("hbase.table.name" = "tb_yl_device_app_info2");  

       
       3.创建一张hive表 
    Sql代码  收藏代码
    1. CREATE TABLE hive_device_app_real(row_key string,genera_type string,install_type string,label string,meid string,model string,pkg_name string,specific_type string)   


       4.外部表数据导入hive实表 
       
    Sql代码  收藏代码
    1. insert overwrite table hive_device_app_real select * from hive_device_app   

        5.sqoop导出hive的数据到mysql 
       
    Sql代码  收藏代码
    1. sqoop export --connect jdbc:mysql://Hadoop48/toplists -m 1 --table hive_device_app_real --export-dir /user/hive/warehouse/hive_device_app_real/000000_0 --input-null-string "\\N" --input-null-non-string "\\N" --input-fields-terminated-by "\01" --input-lines-terminated-by "\n"  

        
       6.habse(关联hive)中一张表转到另外一张表当然能够利用hive的内置函数实现数据处理 
      
    Sql代码  收藏代码
    1. insert overwrite table another_hive_hbase_related_table select * from hbase_device_app   



    导出hbase中数据到mysql须要经过步骤:1345 
    hbase在一个表到另一个表(中间可以使用hive用于数据处理的内置函数):226
     
  • 相关阅读:
    AOP的相关理论介绍
    代码访问数据库时没有报错一直转圈,MySQL不同驱动版本的连接方式
    Linux(CentOS7)设置固定获取IP地址
    NodeJS的安装与配置
    IDEA启动tomcat访问localhost:8080出现404错误
    Win10笔记本电脑外接显示器,如何在笔记本合上的时候让他继续在显示器上使用
    SpringBoot集成Swagger-Bootstrap-UI(已改名为Knife4j)
    Redis学习之Jedis的操作和使用
    SpringBoot整合Swagger2,搭建Restful API在线文档
    IDEA创建SpringBoot项目时出现:Initialization failed for 'https://start.spring.io' Please check URL, network and proxy settings.
  • 原文地址:https://www.cnblogs.com/gcczhongduan/p/4741607.html
Copyright © 2011-2022 走看看