zoukankan      html  css  js  c++  java
  • Hadoop节点热拔插

    一、 Hadoop节点热拔插

    在Hadoop集群中经常会进行增添节点操作,即实现节点的热拔插。在这些操作中不希望对集群进行重启。

    2.在集群中添加节点:

    a. 把新节点IP或者主机名字加入到主节点的slaves文件。

    b. 登录到新节点,执行:

    cd $HADOOP_HOME && bin/hadoop-daemon.sh start datanode && bin/hadoop-daemon.sh start tasktracker

    3. 从集群中移走节点,且对移走节点的数据进行备份:

    a. 在主节点的hdfs-site.xml配置文件中添加

    <property> <name>dfs.hosts.exclude</name> <value>excludes</value> </property>

    b. 在主节点的$HADOOP_HOME目录下新建文件excludes,每行为需要移走的节点,该例为s140。

    c. 运行命令:hadoop dfsadmin -refreshNodes,该命令可以动态刷新dfs.hosts和dfs.hosts.exclude配置,无需重启NameNode。此刻datanode消失了,但是tasktracker还存在。

    d. 然后通过 bin/hadoop dfsadmin -report查看,结果如下:

    Name: 192.168.3.140:50010 Decommission Status : Decommission in progress Configured Capacity: 310716715008 (289.38 GB) DFS Used: 59891990052 (55.78 GB) Non DFS Used: 20663939548 (19.24 GB) DFS Remaining: 230160785408(214.35 GB) DFS Used%: 19.28% DFS Remaining%: 74.07% Last contact: Fri Aug 13 10:17:20 GMT+08:00 2010 Name: 192.168.3.136:50010 Decommission Status : Normal Configured Capacity: 487925370880 (454.42 GB) DFS Used: 101679245034 (94.7 GB) Non DFS Used: 55873218838 (52.04 GB) DFS Remaining: 330372907008(307.68 GB) DFS Used%: 20.84% DFS Remaining%: 67.71% Last contact: Fri Aug 13 10:17:21 GMT+08:00 2010

    e. 在停掉节点Decommission Status不为Normal前, mapreduce操作会出现异常。

    f. 节点移走64G数据需要十分钟左右。

    二、 数据负载均衡

    1. 在Hadoop集群中新添加一个Datanode时,需要对集群数据进行负载均衡。

    2. 在主节点运行bin/start-balancer.sh命令,可以添加参数-threshold 5,threshold是平衡阈值,默认是10%,值越小负载越均衡,但需要更长的时间去执行。

    3. 添加s140到集群,执行负载均衡半个小时共负载了4G的数据。

    转自:http://blog.csdn.net/dajuezhao/article/details/5872923

  • 相关阅读:
    mysql binlog日志删除
    在fork的项目里同步别人新增分支的方法
    Java中运算导致的基本数据类型自动转型 int i ; System.out.println(false?i:'e') 引发的血案
    替换String中的
    mysql绿色版安装及授权连接
    数据初始化函数随笔
    git命令简单使用
    idea常用快捷键(对于新手不建议切换使用eclipse)
    mybatis分页插件PageHelper简单应用
    mybatis处理LIKE模糊查询字符串拼接
  • 原文地址:https://www.cnblogs.com/viviancc/p/2380743.html
Copyright © 2011-2022 走看看