zoukankan      html  css  js  c++  java
  • Sqoop配置

    1.下载sqoop

     

     2.安装配置sqoop

    需要在hadoop的core-site.xml的配置文件中加入sqoop的相关配置

    <property>
    <name>hadoop.proxyuser.sqoop2.hosts</name>
    <value>*</value>
    </property>
    <property>
    <name>hadoop.proxyuser.sqoop2.groups</name>
    <value>*</value>
    </property>

    并且,在配置文件 container-executor.cfg 中,记得添加:

      allowed.system.users=sqoop2

    把sql的驱动jar包导入sqoop的lib目录下,由于前面已经导入了hive直接拷贝即可

    cp /opt/hive-1.1.0-cdh5.7.0/lib/mysql-connector-java-5.1.7-bin.jar /opt/sqoop-1.4.6-cdh5.7.0/lib/

    注意:1.使用sqoop前需要导入Java-json.jar的包到sqoop的lib目录下 使用FileZilla上传 已   2.将hive/lib/hive.* 拷贝到sqoop的lib目录下 cp /root/hive-1.1.0-cdh5.7.0/lib/hive* /root/sqoop-1.4.6-cdh5.7.0/lib/

    cp /opt/hive-1.1.0-cdh5.7.0/lib/hive* /opt/sqoop-1.4.6-cdh5.7.0/lib/

    配置环境变量

    export SQOOP_HOME=sqoop安装路径
    export PATH=$PATH:$SQOOP_HOME/bin

    sqoop version查看版本,报警主要是因为Sqoop加载$ACCUMULO_HOME环境变量,没有找到所以做出警告,其实也可以忽略。

    尝试连接mysql,注意大写的P

      sqoop list-databases --connect jdbc:mysql://192.168.56.2:3306/ --username root -P


    提示输入MySQL的密码,如果出先下面的报错,

      com.mysql.jdbc.exceptions.jdbc4.CommunicationsException: Communications link failure

      Last packet sent to the server was 0 ms ago.

    可能是因为 /etc/my.cnf中少了一行配置

    [mysqld]
    bind-address=0.0.0.0

    出现这个就是成功了

    information_schema
    hive
    mysql
    performance_schema
    sys


  • 相关阅读:
    位移算数符
    蓝桥杯 错误票据(第四届预赛第7题)
    hdu Train Problem I(栈的简单应用)
    ACM YTU 2018 母牛的故事
    ACM YTU 1012 u Calculate e
    C 语言 printf格式控制详解
    ACM YTU 十进制与八进制的转换 (栈和队列) STL栈调用
    ACM HDU 2044 一只小蜜蜂
    ACM YTU 挑战编程 字符串 Problem A: WERTYU
    ACM HDU 1021 Fibonacci Again
  • 原文地址:https://www.cnblogs.com/A-Nan-q/p/14164273.html
Copyright © 2011-2022 走看看