zoukankan      html  css  js  c++  java
  • HDFS相关概念

    一:hdfs设计原理

      负载均衡,考虑分布式计算

      -->block机制

    二:block默认大小为128m,【hadoop2.0版本以上】,之前都是64m。

      最小块大小为1m,每512个字节做一次checksum。

      原因:默认传输效率10M/s  寻址时间占传输时间的1%  寻址时间为10ms

      总结:block是物理的,真正存储的位置在本地磁盘{hadoop.tmp.dir}/dfs/data,

         block是针对文件说的,按照块号存储的物理文件,复本是针对块说的。

    三:WebUI:50070描述

      Startup Progress页【集群开启的过程】

        -->加载fsimage镜像文件

        -->加载edits编辑文件

        -->Saving checkpoint(检查点)

        -->Safe mode

        -->awaiting reported blocks

  • 相关阅读:
    go语言学习十七
    go语言学习十六
    go语言学习十五
    go语言学习十四
    go语言学习十三
    go语言学习十二
    go语言学习十一
    go 语言学习十
    go 语言学习九
    go 语言学习八
  • 原文地址:https://www.cnblogs.com/lyr999736/p/9139441.html
Copyright © 2011-2022 走看看