zoukankan      html  css  js  c++  java
  • HDFS网络拓扑概念及机架感知(副本节点选择)

    网络拓扑概念

    在本地网络中,两个节点被称为“彼此近邻”是什么意思?在海量数据处理中,其主要限制因素是节点之间数据的传输速率——带宽很稀缺。这里将两个节点间的带宽作为距离的衡量标准。

           节点距离:两个节点到达最近的共同祖先(如路由器)的距离总和。

    例如,假设有数据中心d1机架r1中的节点n1。该节点可以表示为/d1/r1/n1。利用这种标记,这里给出四种距离描述。

    Distance(/d1/r1/n1, /d1/r1/n1)=0(同一节点上的进程)

    Distance(/d1/r1/n1, /d1/r1/n2)=2(同一机架上的不同节点)

    Distance(/d1/r1/n1, /d1/r3/n2)=4(同一数据中心不同机架上的节点)

    Distance(/d1/r1/n1, /d2/r4/n2)=6(不同数据中心的节点)

    机架感知(副本节点选择)

    1)官方介绍地址:

    http://hadoop.apache.org/docs/r2.7.3/hadoop-project-dist/hadoop-common/RackAwareness.html

    2)低版本Hadoop副本节点选择

      第一个副本在client所处的节点上。如果客户端在集群外,随机选一个。

      第二个副本和第一个副本位于不相同机架的随机节点上。

      第三个副本和第二个副本位于相同机架,节点随机。

    3)Hadoop2.7.2副本节点选择【重要

           第一个副本在client所处的节点上。如果客户端在集群外,随机选一个。

           第二个副本和第一个副本位于相同机架,随机节点。(第二副本与第一副本距离更近)

           第三个副本位于不同机架,随机节点。

  • 相关阅读:
    hdu 1215 数论 +打表
    hdu 1452 因子和 + 逆元素+ 快速幂
    hdu 1299 整数分解 + map 质因子以及个数
    九度oj 1551 二分 + 精度
    八数码难题 hdu1043/ poj1077
    hdu 1073 字符串函数的应用
    hdu 1048 字符串
    hdu 1039 连续字符串处理
    hdu 1020 简单的字符串处理
    hdu 1027 排列生成器
  • 原文地址:https://www.cnblogs.com/MWCloud/p/11214259.html
Copyright © 2011-2022 走看看