zoukankan      html  css  js  c++  java
  • 安装sqoop

    安装sqoop
    1.默认已经安装好java+hadoop
    2.下载对应hadoop版本的sqoop版本
    3.解压安装包
        tar zxvf sqoop-1.4.6.bin__hadoop-2.0.4-alpha.tar.gz
    4.配置环境变量(/etc/profile)
        #sqoop
        export SQOOP_HOME=/opt/sqoop
        export PATH=$PATH:$SQOOP_HOME/bin
        保存退出
        source /etc/profile
    5.修改配置文件(sqoop-env.sh/sqoop-site.xml/sqoop)
        1.复制配置文件模板
            cd /opt/sqoop-1.4.6/conf
            cp sqoop-site-template.xml sqoop-site.xml
            cp sqoop-env-template.sh sqoop-env.sh
            
            ####sqoop-env.sh####
            export HADOOP_COMMON_HOME=/opt/hadoop-2.5.2
            
            ####sqoop-site.xml####
            无需配置 但须有此文件
            
            ####bin/sqoop####
            最后一行需要改成  注意sqoop-1.4.6.jar 为lib目录下的包
            exec ${HADOOP_COMMON_HOME}/bin/hadoop jar $SQOOP_HOME/sqoop-1.4.6.jar org.apache.sqoop.Sqoop "$@"
    6.添加jar包
        1.添加关系型数据库jdbc jar包 到 lib 目录下
            cp mysql-connector-java-5.1.21.jar /opt/sqoop-1.4.6/lib
    7.验证
        sqoop list-databases --connect jdbc:mysql://192.168.22.1/test --username root --password root  //注意此时需保证mysql连接正常。不然报错  无报错显示出数据库则表示安装成功
    8.常用命令
        1.显示
            sqoop list-databases --connect jdbc:mysql://192.168.22.1/test --username root --password root  //显示数据库
            sqoop list-tables --connect jdbc:mysql://192.168.22.1/test --username root --password root    //显示数据表
        2.hdfs导出到mysql
            sqoop export --connect jdbc:mysql://192.168.22.1/test --username root --password root --table access_log --fields-terminated-by '	' 
                         --export-dir /access/part-m-00000 //需保证导出表已创建并字段跟存储文件一致  注意字段分隔符
        3.mysql导入到hdfs
            sqoop import --connect jdbc:mysql://192.168.22.1/test --username root --password root --table access_log --fields-terminated-by '01' 
                         --lines-terminated-by '
    ' --target-dir /access -m 1 //无主键时需加 -m 1 不然报错 /access在hdfs需不存在 注意字段分隔符
  • 相关阅读:
    day30---多态与鸭子类型
    day---30 Mixins机制与重用父类功能的两种方式
    day29---面向对象编程之继承
    day---28 作业
    day28---面向对象之封装
    day27----作业
    day---27面向对象编程与类
    day26---ATM+购物车
    day25---软件设计的3层架构
    day24---RE模块部分整理
  • 原文地址:https://www.cnblogs.com/ciade/p/5141272.html
Copyright © 2011-2022 走看看