zoukankan      html  css  js  c++  java
  • Hadoop源码分析之心跳机制



    一.心跳机制 

    1. hadoop集群是master/slave模式,master包括Namenode和Jobtracker,slave包括Datanode和Tasktracker。

    2. master启动的时候,会开一个ipc server在那里,等待slave心跳。

    3. slave启动时,会连接master,并每隔3秒钟主动向master发送一个“心跳”,这个时间可 以通过”heartbeat.recheck.interval”属性来设置。将自己的状态信息告诉master,然后master也是通过这个心跳的返回值,向slave节点传达指令。

    4. 需要指出的是:namenode与datanode之间的通信,jobtracker与tasktracker之间的通信,都是通过“心跳”完成的。

    二.Datanode、Namenode心跳源码分析


    既然“心跳”是Datanode主动给Namenode发送的。那Datanode是怎么样发送的呢?下面贴出Datanode.class中的关键代码:

    代码一:

     

    需要注意的是:发送心跳的对象并不是datanode,而是一个名为namenode的对象,难道在datanode端就直接有个namenode的引用吗?其实不然,我们来看看这个namenode吧: 

    代码二:

     

    namenode其实是一个DatanodeProtocol的引用,在对hadoop RPC机制分析的文章中我提到过,这是一个Datanode和Namenode通信的协议,其中有许多未实现的接口方法,sendHeartbeat()就是其中的一个。下面看看这个namenode对象是怎么被实例化的吧: 

    代码三:

     

    其实这个namenode并不是Namenode的一个对象,而只是一个Datanode端对Namenode的代理对象,正是这个代理完成了“心跳”。代理的底层实现就是RPC机制了。

    三.Tasktracker、Jobtracker心跳源码分析


    同样我们从Tasktracker入手,下面贴出Tasktracker.class的关键代码: 

    代码四:

     

    其实我觉得分析到这里大家就可以自己分析了,jobClient也是一个协议: 

    代码五:

     

    该协议用于定义Tasktracker和Jobtracker的通信。同样,它也是一个代理对象:

    代码六:

     
  • 相关阅读:
    九度 1172:哈夫曼树
    mac os 错误提示:下载失败 使用已购页面再试一次 解决方法
    WCF学习资料汇总
    豆瓣FM 歌词跟随插件
    大型网站架构和高并发的一些想法
    MAC OS 系统使用心得
    Windows 7 安装.net framework 4.0 失败,错误HRESULT 0xc8000222解决办法
    json官方学习档案
    转:查看sql语句执行时间/测试sql语句性能
    从数据库反向生成django的models
  • 原文地址:https://www.cnblogs.com/scwanglijun/p/3971531.html
Copyright © 2011-2022 走看看