zoukankan      html  css  js  c++  java
  • 实验-hadoop新增节点


    关于hadoop新增节点网上的说法都有些差别,自己来实践一把


    1.建立一个namenode一个datanode的集群

    master:192.168.126.130

    slave1:192.168.126.131

    2.新增一个datanode,配置JDK、SSH、hadoop、Host、hostname;

    slave2:192.168.126.132

    3.在新增datanode上启动守护进程

    很快namenode就认识到了新成员的加入

    新节点添加成功


    然后关闭slave2

    这里面发现一个细节

    hdfs在datanode“失联”一定时间后才会认为其dead。这里我不断刷新,这个“失联”时间不断增大

    而正常数值在0、1、2之间变换,就是说最迟2秒内namenode就会收到一次slave1的心跳

    运行hadoop dfsadmin -refreshNode也不起作用

    我刷到500多的时候没耐心了,因为我觉得这个时间有点长,实际应用中应该适当设置这个数值


    关于命令hadoop dfsadmin -refreshNode,刷新节点应该在新增节点的时候可以让namenode快速找到新增加的datanode

    因为这里网络延迟很低,所以看不到作用。但是down掉一个的时候还是以“失联”时间为基准 


     关于dfs.hosts.exclude

    这里是在安全的考虑下启动了安全链接,就是不能让任何机器可以随意加入集群,只有namenode认证的才允许加入

    这里没有启用这个功能,所以不用在exlude中加入slave2

    启用后添加新节点实践了一把差别不大,是多了exlude的操作


    欲为大树,何与草争;心若不动,风又奈何。
  • 相关阅读:
    PHP的错误和异常处理
    异步并行批处理框架设计的一些思考
    系统出错信息设计
    SpringMVC+Shiro权限管理
    jstl教程
    为什么Lisp语言如此先进
    「只差程序员」为什么会招黑? [转自:知乎]
    大侠是怎样炼成的 周昆 [转]
    【OpenGL】glFinish()和glFlush()函数详解-[转]
    VC++ 6.0中实现三叉切分窗口与多视图 [转]
  • 原文地址:https://www.cnblogs.com/admln/p/test-newdatanode.html
Copyright © 2011-2022 走看看