zoukankan      html  css  js  c++  java
  • Hadoop添加节点datanode

    1.部署hadoop

    和普通的datanode一样。安装jdk,ssh

    2.修改host

    和普通的datanode一样。添加namenode的ip

    3.修改namenode的配置文件conf/slaves

    添加新增节点的ip或host

    4.在新节点的机器上,启动服务

    [root@slave-004 hadoop]# ./bin/hadoop-daemon.sh start datanode 
    [root@slave-004 hadoop]# ./bin/hadoop-daemon.sh start tasktracker

    5.均衡block

    [root@slave-004 hadoop]# ./bin/start-balancer.sh

    这个会非常耗时
    1)如果不balance,那么cluster会把新的数据都存放在新的node上,这样会降低mapred的工作效率
    2)设置平衡阈值,默认是10%,值越低各节点越平衡,但消耗时间也更长
    [root@slave-004 hadoop]# ./bin/start-balancer.sh -threshold 5
    3)设置balance的带宽,默认只有1M/s

    <property> 
    <name>dfs.balance.bandwidthPerSec</name> 
    <value>1048576</value> 
    <description> 
    Specifies the maximum amount of bandwidth that each datanode 
    can utilize for the balancing purpose in term of 
    the number of bytes per second. 
    </description> 
    </property>


    注意:

    1. 必须确保slave的firewall已关闭;
    2. 确保新的slave的ip已经添加到master及其他slaves的/etc/hosts中,反之也要将master及其他slave的ip添加到新的slave的/etc/hosts中

  • 相关阅读:
    《老男孩》
    java中四种阶乘的计算
    DataOutputStream的乱码问题
    java中飞clone方法
    类反射的简单例子
    PHP: 如何连接oracle数据库进行数据读取
    .NET : 如何读取图片中的元数据信息
    重新审视REST
    PHP 的历史
    Image File Format Specifications {转载}
  • 原文地址:https://www.cnblogs.com/ggjucheng/p/2454689.html
Copyright © 2011-2022 走看看