zoukankan      html  css  js  c++  java
  • 3(全分布式安装)

      NN SNN DN
    node0001 *    
    node0002   * *
    node0003     *
    node0004     *

    1、环境检查:

    4台机器jdk安装完成

    date  (检查时间,相差不能超过几秒,主从节点ping不通)

    date -s "2020-07-18 23:32:00"    (4台机器设置i相同时间)

    cat /etc/sysconfig/network    (查看4台机器别名是否设置好)

    cat /etc/hosts   (查看ip/别名映射是否设置好 )

    cat /etc/sysconfig/selinux (查询安全机制文件是否关闭   SELINUX=disabled)

    检查防火墙是否关闭

    2、秘钥分发(主节点)

    ll -a   (若没有.ssh文件,则ssh localhost    输入密码 exit)

    cd .ssh

    node0001:scp  id_dsa.pub   node0002:`pwd`/node0001.pub     (发送到node0002的.ssh文件夹)

    node0002:cat .ssh/node0001.pub  >> .ssh/authorized_keys    (公钥追加到认证文件里)

    node0001:ssh node0002     (完成免密钥登陆)

    重复上面操作,分发到node0003 ode0004

    3、备份伪分布式

    cp -r hadoop hadoop_pseude   (在hadoop里etc下执行,hadoop_pseude 为伪分布式配置,以后需要可以改成hadoop,以切换)

    4、修改配置文件(主节点)

    vi core-site.xml     (换个新文件夹,防止和伪分布式的文件冲突)

    <configuration>
        <property>
            <name>fs.defaultFS</name>
            <value>hdfs://node0001:9000</value>
        </property>
      <property>
            <name>hadoop.tmp.dir</name>
            <value>/var/sxt/hadoop/full</value>
        </property>
    </configuration>

    vi hdfs-site.xml   (2给DN  使node0002为SNN)

    <configuration>
        <property>
            <name>dfs.replication</name>
            <value>2</value>
        </property>
        <property>
            <name>dfs.namenode.secondary.http-address</name>
            <value>node0002:50090</value>
        </property>
    </configuration>

    vi slaves   (从节点配置   node0002  node0003   node0004)

    cd /opt

    scp -r sxt/ node0002:`pwd`

    scp -r sxt/ node0003:`pwd`

    scp -r sxt/ node0004:`pwd`

    配置node0002-4  hadoop环境变量并scoure

    hdfs namenode -format  (格式化,只有主节点需要node0001)

    5、启动集群

    start-dfs.sh   (stop-dfs.sh 停集群)

    node0001:jps   (只有namenode)

    node0002:jps  (datename和secondarynamenode)

    node0003/node0004只有datanode

    有问题看日志(/opt/sxt/hadoop-2.6.5/logs)

    全分布分配方案:
    NNSNNDNNODE06*NODE07**NODE08*NODE09*

  • 相关阅读:
    odoo API装饰器one、model、multi的区别
    odoo配置界面设置字段默认值
    redhat_6.5下载地址
    常用在线工具链接
    odoo开发环境搭建(四):python开发工具IDE pycharm配置
    odoo开发环境搭建(三):安装odoo依赖的python包
    odoo开发环境搭建(二):安装Ubuntu 17虚拟机
    odoo开发环境搭建(一):安装VMware Workstation
    火狐浏览器网页截屏插件
    copy代码的时候,如何去掉代码前边的编号
  • 原文地址:https://www.cnblogs.com/dongchao3312/p/13338328.html
Copyright © 2011-2022 走看看