zoukankan      html  css  js  c++  java
  • 在Hadoop集群上安装Sqoop数据迁移工具

    集群如下:

    HostName          IP                    Soft                                   Process
    h1                    192.168.1.31    Hadoop,Hbase                          NameNode(Active),DFSZKFailoverController,HMaster(Active)
    h2                    192.168.1.32     Hadoop,Hbase                         NameNode(Standby),DFSZKFailoverController,HMaster(Backup)
    h3                    192.168.1.33     Hadoop,Hbase                         ResourceManager(Active),HRegionServer
    h4                    192.168.1.34     Hadoop,Hbase                         ResourceManager(Standby),HRegionServer
    h5                    192.168.1.35     Hadoop,Zookeeper,Hbase         QuorumPeerMain(follower),JournalNode,DataNode,NodeManager,HRegionServer
    h6                    192.168.1.36     Hadoop,Zookeeper,Hbase         QuorumPeerMain(Leader),JournalNode,DataNode,NodeManager,HRegionServer
    h7                    192.168.1.37     Hadoop,Zookeeper,Hbase         QuorumPeerMain(follower),JournalNode,DataNode,NodeManager,HRegionServer

    由此上集群架构,h3和h4节点压力较小,暂且将Sqoop安装在h3节点上,安装如下。

    ##安装sqoop-1.4.4.bin__hadoop-2.0.4-alpha.tar.gz

    cd /usr/local/

    tar -zxvf sqoop-1.4.4.bin__hadoop-2.0.4-alpha.tar.gz

    mv sqoop-1.4.4.bin__hadoop-2.0.4-alpha sqoop

    ##在h3上配置SQOOP_HOME
    vi /etc/profileexport SQOOP_HOME=/usr/local/sqoop
    export PATH=.:$SQOOP_HOME/bin:$HADOOP_HOME/bin:$JAVA_HOME/bin:$PATH
    esc,shift+zz
    source /etc/profile

    到此Sqoop配置成功,这里我没有修改Sqoop任何配置文件,因为Sqoop在运行时会找HADOOP_HOME,找到HADOOP_HOME时即可使用该节点上的Hadoop的配置以及类库。

  • 相关阅读:
    《程序员的数学课》模块二 代数与统计
    《程序员的数学课》模块一 无处不在的数学思维03
    Java 接口重试的几种实现
    用过stopwatch(秒表)观察代码运行的时长吗?
    sql 面试必刷系列-case-when
    缓存穿透、缓存击穿和缓存雪崩,了解一下?
    数据库批量插入100W 条数据,你学废了吗?
    缓冲输入流
    Linux系统中内存问题排查思路与解决方法
    Linux系统中负载较高问题排查思路与解决方法
  • 原文地址:https://www.cnblogs.com/mengyao/p/4235029.html
Copyright © 2011-2022 走看看