zoukankan      html  css  js  c++  java
  • 如何在集群里服役新节点、退役旧节点(DataNode)

    准备好新的数据节点(DataNode)

    ①准备机器,配置好JDK、hadoop的环境变量,在hdfs-site.xmlyarn-site.xml文件中分别配置NameNodeResourceManager所在主机名
    ②待服役成功后,启动datanodenodemanager进程即可
    ③服役了新的DN节点后,可以执行再平衡的命令,这个命令可以将集群中块进行重新平衡分配,实现负载均衡:
    ./start-balancer.sh

    方法一:白名单

    • 白名单之外的机器,无法进入集群
    • 编写一个文件,添加要服役的主机名
    • 通过hdfs-site.xml中的dfs.hosts配置,value即白名单文件的路径位置
    • 可以使用 hdfs dfsadmin -refreshNodes刷新配置,读取此配置信息!

    方法二:黑名单

    • 黑名单里的机器,无法进入集群
    • 编写一个文件,添加要退役的主机名
    • 通过hdfs-site.xml中的dfs.hosts.exclude配置,value即黑名单文件的路径位置
    • 黑名单中的机器在最后一次启动时,会将当前机器的块移动到其他节点!
    • 注意:如果当前集群中在线的DN节点不满足某些文件的副本数要求,当前退役节点是无法退役完成!
  • 相关阅读:
    使用JQuery快速高效制作网页特效1章
    优化数据库设计
    sql语句
    java九章后的总结笔记
    C#总结
    数组。
    2018_学习资料备用
    03-11gR2单机通过RMAN恢复到RAC(未验证)
    02-oracle11g rac RMAN备份恢复至单机(未验证)
    01-spfile和pfile的区别,生成,加载和修复
  • 原文地址:https://www.cnblogs.com/sunbr/p/13288860.html
Copyright © 2011-2022 走看看