• Sqoop2安装


    下载

    http://www-us.apache.org/dist/sqoop/ 
    打开以上链接,开始下载sqoop2 
     
     
    下载后得到:sqoop-1.99.7-bin-hadoop200.tar.gz文件

    其中sqoop1和sqoop2区别可以参考以下链接 
    重拾初心——Sqoop1和Sqoop2的刨析对比 
    http://blog.csdn.net/gamer_gyt/article/details/55225700

    安装

    安装步骤参考官方文档 
    http://sqoop.apache.org/docs/1.99.7/admin/Installation.html

    解压tar包

    将sqoop-1.99.7-bin-hadoop200.tar.gz上传至服务器中,这里安装到/usr/local/hadoop/sqoop-1.99.7目录中

    1. # 拷贝tar包到/usr/local/hadoop/中
    2. cp sqoop-1.99.7-bin-hadoop200.tar.gz /usr/local/hadoop/
    3. # 解压tar包
    4. tar -xvf sqoop-1.99.7-bin-hadoop200.tar.gz
    5. # 为文件夹重命名
    6. mv sqoop-1.99.7-bin-hadoop200 sqoop-1.99.7

    配置sqoop2

    1. 确保sqoop2所依赖的环境变量 
      sqoop2需要hadoop的依赖(HADOOP_COMMON, HADOOP_HDFS, HADOOP_MAPRED, HADOOP_YARN),所以你的环境变量中需要存在如下的环境变量
    1. export HADOOP_HOME=/..

    或者

    1. export HADOOP_COMMON_HOME=/...
    2. export HADOOP_HDFS_HOME=/...
    3. export HADOOP_MAPRED_HOME=/...
    4. export HADOOP_YARN_HOME=/...

    如果配置了HADOOP_HOME,则sqoop会自动寻找$HADOOP_HOME/share/common相应的目录。

    1. 配置sqoop2的环境变量 
      在/etc/profire文件中增加如下配置,注意SQOOP2_HOME的位置
    1. #Sqoop配置
    2. export SQOOP2_HOME=/usr/local/hadoop/sqoop-1.99.7
    3. export CATALINA_BASE=$SQOOP2_HOME/server
    4. #Sqoop外部jar包存放路径,以后mysql-**.jar,odbc*.jar文件都放到extra-lib中即可
    5. export SQOOP_SERVER_EXTRA_LIB=$SQOOP2_HOME/server/lib/extra-lib
    6. export PATH=$PATH:$SQOOP2_HOME/bin
    1. sqoop访问hdfs的配置 
           因为sqoop访问Hadoop的MapReduce使用的是代理的方式,必须在Hadoop的core-site.xml中配置所接受的proxy用户和组,在hadoop的core-site.xml中增加如下配置,其中sqoop2是代理的用户和组的意思。表示运行hadoop的系统用户名
    1. <property>
    2. <name>hadoop.proxyuser.root.hosts</name>
    3. <value>*</value>
    4. </property>
    5. <property>
    6. <name>hadoop.proxyuser.root.groups</name>
    7. <value>*</value>
    8. </property>
    1. 配置sqoop访问的hadoop配置文件的位置 
      在/usr/local/hadoop/sqoop-1.99.7/conf/sqoop.properties文件中,修改如下变量的值为你hadoop配置文件目录 
    1. org.apache.sqoop.submission.engine.mapreduce.configuration.directory=/usr/local/hadoop/hadoop-2.7.4/etc/hadoop

    初始化sqoop仓库

    因为sqoop2中存储着元数据信息,所以首次安装时需要初始化仓库

    1. sqoop2-tool upgrade

    初始化完成后,可以做一次验证

    1. sqoop2-tool verify

    当出现Verification was successful.字样时,表示初始化成功。

    启动sqoop

    执行sqoop2-server start启动sqoop,同理。执行sqoop2-server stop会停止sqoop

    1. sqoop2-server start

    执行完以上命令后,启动信息如下。 

    然后执行jps命令查看启动了哪些进程,可以看到sqoop server只启动了SqoopJettyServer进程。 

    启动sqoop客户端

    由于我现在是伪分布式,所以sqoop server和sqoop client都在一台机器上,直接执行sqoop2-shell命令即可启动sqoop客户端 
     
    可以查看sqoop2的版本,执行show version --all命令

    1. sqoop:000> show version --all
    2. client version:
    3. Sqoop1.99.7 source revision 435d5e61b922a32d7bce567fe5fb1a9c0d9b1bbb
    4. Compiledby abefine on TueJul1916:08:27 PDT 2016
    5. 0[main] WARN org.apache.hadoop.util.NativeCodeLoader-Unable to load native-hadoop library for your platform...using builtin-java classes where applicable
    6. server version:
    7. Sqoop1.99.7 source revision 435d5e61b922a32d7bce567fe5fb1a9c0d9b1bbb
    8. Compiledby abefine on TueJul1916:08:27 PDT 2016
    9. API versions:
    10. [v1]
    11. sqoop:000>
  • 相关阅读:
    CentOS-Docker安装RabbitMQ集群(rabbitmq:3.7.16-management)
    Xcode Shortcuts
    In App Purchase
    CoreData
    Sandbox 文件存放规则
    在 mac os 上搭建 git server
    Git
    Git and Xcode
    心算技巧
    AppleScript
  • 原文地址:https://www.cnblogs.com/meet/p/7682855.html
走看看 - 开发者的网上家园