zoukankan      html  css  js  c++  java
  • 如何在集群里服役新节点、退役旧节点(DataNode)

    准备好新的数据节点(DataNode)

    ①准备机器,配置好JDK、hadoop的环境变量,在hdfs-site.xmlyarn-site.xml文件中分别配置NameNodeResourceManager所在主机名
    ②待服役成功后,启动datanodenodemanager进程即可
    ③服役了新的DN节点后,可以执行再平衡的命令,这个命令可以将集群中块进行重新平衡分配,实现负载均衡:
    ./start-balancer.sh

    方法一:白名单

    • 白名单之外的机器,无法进入集群
    • 编写一个文件,添加要服役的主机名
    • 通过hdfs-site.xml中的dfs.hosts配置,value即白名单文件的路径位置
    • 可以使用 hdfs dfsadmin -refreshNodes刷新配置,读取此配置信息!

    方法二:黑名单

    • 黑名单里的机器,无法进入集群
    • 编写一个文件,添加要退役的主机名
    • 通过hdfs-site.xml中的dfs.hosts.exclude配置,value即黑名单文件的路径位置
    • 黑名单中的机器在最后一次启动时,会将当前机器的块移动到其他节点!
    • 注意:如果当前集群中在线的DN节点不满足某些文件的副本数要求,当前退役节点是无法退役完成!
  • 相关阅读:
    servicestack and redis
    图片服务器
    CRQS介绍
    javascript闭包之购物车加减及提示
    javascript best practices
    EOF
    2012年回顾
    volatile
    通过inode来操作文件
    采样问题
  • 原文地址:https://www.cnblogs.com/sunbr/p/13288860.html
Copyright © 2011-2022 走看看