zoukankan      html  css  js  c++  java
  • Dream------Hadoop--网络拓扑与Hadoop--摘抄

    两个节点在一个本地网络中被称为“彼此的近邻”是什么意思?在高容量数据处理中,限制因素是我们在节点间
    传送数据的速率-----带宽很稀缺。这个想法便是将两个节点间的带宽作为距离的衡量标准。
     
    衡量节点间的带宽,实际上很难实现(它需要一个稳定的集群,并且在集群中成对的节点的数量的增长要是节点数量的平方),不及Hadoop采用一个简单的方法,把网络看做一棵树,两个节点间的距离是距离他们最近的共同祖先的总和。
    该树中的等级是没有被预先设定的,但是他对于相当于数据中心、框架和一直在运行的节点的等级是相同的。
    这个想法是,对于以下每个场景,可用带宽依次减少(啥意思?是消耗的带宽依次增多吗?)
     
        相同节点中的进程
        同一机架上的不同节点
        同一数据中心的不同机架上的节点
        不同数据中心的节点(目前Hadoop上不适合跨数据中心运行)
     
    例如,假设节点n1 在数据中心d1 中的机架r1 上.这被表示成/d1/r1/n1 。
    利用这种标记,这里给出四种描述的距离:
        距离(/d1/r1/n1 , /d 1 /r 1 /n 1)=O(相同节点中的进程)
        距离(/dl /r1 /n1 , /d 1 /r1 /n2)=2(同一机架上的不同节点)
        距离(/d1/r1/n1, /d 1 /r2/n3)=4( 同一数据中心的不同机架丰的节点)
        距离(/d1/r1/n1, /d2/r3/n4 }=6(不同数据中心的节点)
     
     
    用图示形式表达(数学爱好者会注意到这是一个Z巨禽公制的例子) .
     
     
     
    我们必须意识到, Hadoop 无法预测网络拓扑结构.它需要一定帮助,我
    们将在第9 章讨论如何配置拓扑. 不过在默认情况下,假设网络是平的
    (一个单层的等级制),或者换句话说,所有节点都在同一数据中心的同一
    机架. 小的集群可能如此,所以不需要进一步的配置.
     
     
     
     
     

    DT大数据梦工厂,微信公众号是:DT_Spark,每天都会有大数据实战视频发布,请您持续学习。
    相关资料:
    scala深入浅出实战经典完整视频、PPT、代码下载:
    百度云盘:http://pan.baidu.com/s/1c0noOt6
    腾讯微云:http://url.cn/TnGbdC
    360云盘:http://yunpan.cn/cQ4c2UALDjSKy  访问密码45e2
     
     
     
     
     
     
     
     
     
     
     
  • 相关阅读:
    Python嵌入C/C++ (Python核心编程)
    c++ 降低文件间类的耦合度及关联度
    Python嵌入C++
    Windows编程学习笔记(十一)
    C++STL算法分析之:非变易算法
    背包九讲
    随机数 srand() & rand()
    C++ explicit 关键字解析
    [抄书]贪心策略的理论基础——拟阵
    WP7之LongListSelector控件
  • 原文地址:https://www.cnblogs.com/wangliansong/p/4789979.html
Copyright © 2011-2022 走看看