zoukankan      html  css  js  c++  java
  • hadoop新旧节点

    注意:黑白名单只出现在名称(nn)节点
    <!-- 白名单 -->
    <property>
    <name>dfs.hosts</name>/Users/yangyanqing/文档/hadoop添加新节点+退役旧节点.txt
    <value></value>
    <description>包含允许连接nn的主机名列表(文件名),必须是绝对路径,如果为空,所有主机都可以连接</description>
    </property>
    <!-- 黑名单 -->
    <property>
    <name>dfs.hosts.exclude</name>
    <value></value>
    <description>包含不允许连接nn的主机名列表(文件名),必须是绝对路径,如果为空表示没有主机在黑名单中</description>
    </property>
    例子:
    0.克隆新主机,软件安装与配置。
    0.1:修改主机名
    [vim /etc/hosts]
    0.2:静态ip
    0.2.1:[vim /etc/sysconfig/network-scriots/ifcfg-eno...]
    0.2.2:[vim /etc/resolv.conf]
    nameserver 192.168.23.2
    0.2.3:重启网络服务
    service network restart
    0.2.4:关闭防火墙
    service firewalld stop
    0.2.5:防火墙开机关闭
    chkconfig firewalld off
    0.3:ssh[s101]
    0.3.1:[vim /etc/hosts]
    0.3.2:拷贝s101公钥到s106
    ssh-copy-id root@s106
    0.3.3:添加分发配置主机
    $>vim /usr/local/bin/.hosts
    追加 s106
    0.3.4:s106安装rsync
    yum install -y rsync
    0.3.5:分发
    $>xsync.sh /etc/hosts
    $>rsync -rl /soft/hadoop* root@s106:/soft/
    $>rsync /etc/profile root@s106:/etc/

    软件
    环境变量
    ============================= hdfs添加新节点 =============================
    1.添加新主机在白名单。注:dfs_include.conf文件内放置添加新主机名
    [/soft/hadoop/etc/hadoop/dfs_include.conf]
    s102
    s103
    s104
    s106
    [hdfs-site.xm]
    <property>
    <name>dfs.hosts</name>
    <value>/soft/hadoop/etc/hadoop/dfs_include.conf</value>
    </property>
    2.刷新名称节点
    $>hdfs dfsadmin -refreshNodes
    4.更新slaves文件(把新添加主机名加进去)
    s102
    s103
    s104
    s106
    5.启动新节点的datanode进程和nodemanager进程
    //登陆s106(source /etc/profile 使配置文件生效)
    $>hadoop-daemon.sh start datanode
    6.检查webui即可。
    ============================= hdfs退役旧节点 =============================
    1.添加下线节点主机名到黑名单,不跟新白名单
    [/soft/hadoop/etc/hadoop/dfs_exclude.conf]
    s104
    [hdfs-site.xm]
    <property>
    <name>dfs.hosts.exclude</name>
    <value>/soft/hadoop/etc/hadoop/dfs_exclude.conf </value>
    </property>
    2.刷新名称节点
    $>hdfs dfsadmin -refreshNodes
    3.刷新yarn
    4.webui查看状态是否下线中,开始负责block到其他节点。(下线过程就是旧节点数据复制到新节点上面,副本数始终保持在3个,如果副本数小于3,则没有新节点备份数据,webui会始终保持下线状态)
    5.当所有数据节点报告已退役,说明所有block复制完成,下线节点。
    6.从白名单删除节点,并运行刷新新节点
    $>hdfs dfsadmin -refreshNodes
    7.删除slave文件的节点。

    ============================= yarn添加新节点 =============================
    1.添加新主机在白名单。注:dfs_include.conf文件内放置添加新主机名
    [/soft/hadoop/etc/hadoop/yarn_include.conf]
    s102
    s103
    s104
    s106
    [yarn-site.xm]
    <property>
    <name>yarn.resourcemanager.nodes.include-path</name>
    <value>/soft/hadoop/etc/hadoop/yarn_include.conf</value>
    </property>
    3.刷新yarn节点
    $>yarn rmadmin -refreshNodes
    4.更新slaves文件(把新添加主机名加进去)
    s102
    s103
    s104
    s106
    5.启动新节点的datanode进程和nodemanager进程
    //登陆s106(source /etc/profile 使配置文件生效)
    $>hadoop-daemon.sh start datanode
    6.检查webui即可。
    ============================= yarn退役旧节点 =============================
    1.添加下线节点主机名到黑名单,不跟新白名单
    [/soft/hadoop/etc/hadoop/yarn_exclude.conf]
    s104
    [yarn-site.xm]
    <property>
    <name>yarn.resourcemanager.nodes.exclude-path</name>
    <value>/soft/hadoop/etc/hadoop/yarn_exclude.conf </value>
    </property>
    2.刷新名称节点
    $>yarn rmadmin -refreshNodes
    3.刷新yarn
    4.webui查看状态是否下线中,开始负责block到其他节点。(下线过程就是旧节点数据复制到新节点上面,副本数始终保持在3个,如果副本数小于3,则没有新节点备份数据,webui会始终保持下线状态)
    5.当所有数据节点报告已退役,说明所有block复制完成,下线节点。
    6.从白名单删除节点,并运行刷新新节点
    $>yarn rmadmin -refreshNodes
    7.删除slave文件的节点。

  • 相关阅读:
    c如何弹出保存路径/保存文件对话框
    c++ 读写txt方法
    windows获取环境变量
    Block UI 获取treelist column值
    MFC中如何弹出选择文件/文件夹对话框(C++)
    What can change the CID of a NX license server?
    spring之AOP
    spring注解开发
    spring配置Bean
    spring之IOC和DI实现
  • 原文地址:https://www.cnblogs.com/nyfz/p/9034930.html
Copyright © 2011-2022 走看看