zoukankan      html  css  js  c++  java
  • Hadoop添加节点datanode

    1.部署hadoop

    和普通的datanode一样。安装jdk,ssh

    2.修改host

    和普通的datanode一样。添加namenode的ip

    3.修改namenode的配置文件conf/slaves

    添加新增节点的ip或host

    4.在新节点的机器上,启动服务

    [root@slave-004 hadoop]# ./bin/hadoop-daemon.sh start datanode 
    [root@slave-004 hadoop]# ./bin/hadoop-daemon.sh start tasktracker

    5.均衡block

    [root@slave-004 hadoop]# ./bin/start-balancer.sh

    这个会非常耗时
    1)如果不balance,那么cluster会把新的数据都存放在新的node上,这样会降低mapred的工作效率
    2)设置平衡阈值,默认是10%,值越低各节点越平衡,但消耗时间也更长
    [root@slave-004 hadoop]# ./bin/start-balancer.sh -threshold 5
    3)设置balance的带宽,默认只有1M/s

    <property> 
    <name>dfs.balance.bandwidthPerSec</name> 
    <value>1048576</value> 
    <description> 
    Specifies the maximum amount of bandwidth that each datanode 
    can utilize for the balancing purpose in term of 
    the number of bytes per second. 
    </description> 
    </property>


    注意:

    1. 必须确保slave的firewall已关闭;
    2. 确保新的slave的ip已经添加到master及其他slaves的/etc/hosts中,反之也要将master及其他slave的ip添加到新的slave的/etc/hosts中

  • 相关阅读:
    .Net环境下的缓存技术介绍
    JavaScript 全局对象
    JavaScript escape() 函数
    实现DIV拖动
    巧用Ajax的beforeSend 提高用户体验
    js中ie8下不识别indexOf的解决办法
    页面弹窗效果HTML
    让html页面中的文字不可选中
    MVC路由规则
    C# Math.Round
  • 原文地址:https://www.cnblogs.com/ggjucheng/p/2454689.html
Copyright © 2011-2022 走看看