zoukankan      html  css  js  c++  java
  • 在Hadoop集群上安装Sqoop数据迁移工具

    集群如下:

    HostName          IP                    Soft                                   Process
    h1                    192.168.1.31    Hadoop,Hbase                          NameNode(Active),DFSZKFailoverController,HMaster(Active)
    h2                    192.168.1.32     Hadoop,Hbase                         NameNode(Standby),DFSZKFailoverController,HMaster(Backup)
    h3                    192.168.1.33     Hadoop,Hbase                         ResourceManager(Active),HRegionServer
    h4                    192.168.1.34     Hadoop,Hbase                         ResourceManager(Standby),HRegionServer
    h5                    192.168.1.35     Hadoop,Zookeeper,Hbase         QuorumPeerMain(follower),JournalNode,DataNode,NodeManager,HRegionServer
    h6                    192.168.1.36     Hadoop,Zookeeper,Hbase         QuorumPeerMain(Leader),JournalNode,DataNode,NodeManager,HRegionServer
    h7                    192.168.1.37     Hadoop,Zookeeper,Hbase         QuorumPeerMain(follower),JournalNode,DataNode,NodeManager,HRegionServer

    由此上集群架构,h3和h4节点压力较小,暂且将Sqoop安装在h3节点上,安装如下。

    ##安装sqoop-1.4.4.bin__hadoop-2.0.4-alpha.tar.gz

    cd /usr/local/

    tar -zxvf sqoop-1.4.4.bin__hadoop-2.0.4-alpha.tar.gz

    mv sqoop-1.4.4.bin__hadoop-2.0.4-alpha sqoop

    ##在h3上配置SQOOP_HOME
    vi /etc/profileexport SQOOP_HOME=/usr/local/sqoop
    export PATH=.:$SQOOP_HOME/bin:$HADOOP_HOME/bin:$JAVA_HOME/bin:$PATH
    esc,shift+zz
    source /etc/profile

    到此Sqoop配置成功,这里我没有修改Sqoop任何配置文件,因为Sqoop在运行时会找HADOOP_HOME,找到HADOOP_HOME时即可使用该节点上的Hadoop的配置以及类库。

  • 相关阅读:
    客户端不能连接MySQL
    Linux 7.x 防火墙&端口
    MYSQL.版本查看-LINUX
    Java之.jdk卸载-Linux
    Redis.之.环境搭建(集群)
    Elasticsearch.安装插件(head)
    Linux安装Nodejs
    Linux.ls 查看常用参数
    Elasticsearch.安装(单节点)
    Andrew NG 机器学习编程作业3 Octave
  • 原文地址:https://www.cnblogs.com/mengyao/p/4235029.html
Copyright © 2011-2022 走看看