zoukankan      html  css  js  c++  java
  • 25 友盟项目--sqoop从hive导出数据到mysql

    sqoop导出数据到mysql

     需要启动yarn  start-yarn.sh

    sqoop导出hive统计数据到mysql
    ----------------------------
     1.复制mysql驱动程序到sqoop/lib下
     2.在mysql中创建表
      create table stat_act_day(
      day varchar(50),
      appid varchar(50),
      appplatform varchar(50),
      brand varchar(50),
      devicestyle varchar(50),
      ostype varchar(50),
      appversion varchar(50),
      cnt int) ;
      
    查看hive的字段

     2.导出命令
     
    sqoop-export --driver com.mysql.jdbc.Driver --connect jdbc:mysql://192.168.231.1:3306/big12 --username root --password root --columns   day,appid,appplatform,brand,devicestyle,ostype,appversion,cnt --table stat_act_day --export-dir /user/hive/warehouse/big12_umeng.db/stat_act_day -m 3
    详解
      sqoop-export
      --driver com.mysql.jdbc.Driver               //驱动
      --connect jdbc:mysql://192.168.231.1:3306/big12_umeng   //数据库链接
      --username root --password root              //数据库名  密码
      --columns   day,appid,appplatform,brand,devicestyle,ostype,appversion,cnt  // 导出hive表哪些列
      --table stat_act_day                        //导到哪张表
      --export-dir /user/hive/warehouse/big12_umeng.db/stat_act_day     //从哪里导出,导出目录(hive表在hdfs上的目录)
      -m 3                        //并行导出 map数为3
     
  • 相关阅读:
    Springboot单元测试(MockBean||SpyBean)
    使用 Mockito 单元测试 – 教程
    spring结合mockito
    Spatis service单元测试: 使用mock mapper的方式
    单元测试Mockito中的Mock和Spy
    强大的Mockito测试框架
    Mockito单测,mock service层的mapper
    Mockito教程
    SetupFactory 制作安装包
    fiddler的一些记录
  • 原文地址:https://www.cnblogs.com/star521/p/10003553.html
Copyright © 2011-2022 走看看