zoukankan      html  css  js  c++  java
  • 3(全分布式安装)

      NN SNN DN
    node0001 *    
    node0002   * *
    node0003     *
    node0004     *

    1、环境检查:

    4台机器jdk安装完成

    date  (检查时间,相差不能超过几秒,主从节点ping不通)

    date -s "2020-07-18 23:32:00"    (4台机器设置i相同时间)

    cat /etc/sysconfig/network    (查看4台机器别名是否设置好)

    cat /etc/hosts   (查看ip/别名映射是否设置好 )

    cat /etc/sysconfig/selinux (查询安全机制文件是否关闭   SELINUX=disabled)

    检查防火墙是否关闭

    2、秘钥分发(主节点)

    ll -a   (若没有.ssh文件,则ssh localhost    输入密码 exit)

    cd .ssh

    node0001:scp  id_dsa.pub   node0002:`pwd`/node0001.pub     (发送到node0002的.ssh文件夹)

    node0002:cat .ssh/node0001.pub  >> .ssh/authorized_keys    (公钥追加到认证文件里)

    node0001:ssh node0002     (完成免密钥登陆)

    重复上面操作,分发到node0003 ode0004

    3、备份伪分布式

    cp -r hadoop hadoop_pseude   (在hadoop里etc下执行,hadoop_pseude 为伪分布式配置,以后需要可以改成hadoop,以切换)

    4、修改配置文件(主节点)

    vi core-site.xml     (换个新文件夹,防止和伪分布式的文件冲突)

    <configuration>
        <property>
            <name>fs.defaultFS</name>
            <value>hdfs://node0001:9000</value>
        </property>
      <property>
            <name>hadoop.tmp.dir</name>
            <value>/var/sxt/hadoop/full</value>
        </property>
    </configuration>

    vi hdfs-site.xml   (2给DN  使node0002为SNN)

    <configuration>
        <property>
            <name>dfs.replication</name>
            <value>2</value>
        </property>
        <property>
            <name>dfs.namenode.secondary.http-address</name>
            <value>node0002:50090</value>
        </property>
    </configuration>

    vi slaves   (从节点配置   node0002  node0003   node0004)

    cd /opt

    scp -r sxt/ node0002:`pwd`

    scp -r sxt/ node0003:`pwd`

    scp -r sxt/ node0004:`pwd`

    配置node0002-4  hadoop环境变量并scoure

    hdfs namenode -format  (格式化,只有主节点需要node0001)

    5、启动集群

    start-dfs.sh   (stop-dfs.sh 停集群)

    node0001:jps   (只有namenode)

    node0002:jps  (datename和secondarynamenode)

    node0003/node0004只有datanode

    有问题看日志(/opt/sxt/hadoop-2.6.5/logs)

    全分布分配方案:
    NNSNNDNNODE06*NODE07**NODE08*NODE09*

  • 相关阅读:
    Jquery的小案例4、实现表单的验证(用户名和邮箱)
    Ubuntu下安装Python
    ListView列宽自适应
    IPtables 版本升级到 v1.4.9
    穿过已知点画平滑曲线(3次贝塞尔曲线)
    贪心算法——NY 14 会场安排问题
    零是奇数还是偶数?
    免费淘宝IP地址库简介及PHP/C#调用实例
    html锚点(mao dian)特殊的超链接
    怎么查看自己电脑的IP地址
  • 原文地址:https://www.cnblogs.com/dongchao3312/p/13338328.html
Copyright © 2011-2022 走看看