zoukankan      html  css  js  c++  java
  • HDFS 存放策略

    数据块

    • 每个磁盘都有默认数据块大小,这个数据块就是磁盘存取得最小得单位。
    • 磁盘块得大小一般为512字节
    • 数据块得大小小于512字节,他得空间也会被占用。

    HDSF 数据块

    • HDFS也有数据块得大小,大小以前为64M,当前得大小为128M 。
    • 如果该块没有存满,不会占用整个数据块得空间。
    • HDFS 块得大小为什么要设置这么多大
    1. HDFS 得时间都浪费到寻址中去。传输时间大于选址时间,读取文件所消耗得时间就传输时间。
    2. 例子:加入寻址时间10ms,磁盘读写得速率时100MB/s,寻址用总时间得1%,计算到块得大小未100MB ,所以设置128M
    • 切片
    1. 切片得大小和块得大小他时相同的

    副本放置策略。

    • 网络拓扑
    • 副本存放策略,同数据中心不同机架之间的数据是4,不同数据中心距离是6。
    1. 看客户端程序离那个数据近。第一个节点放在客户端所在机架。如果不再集群几点中,随机房放在某个机架中。
    2. 第二个副本放到另一个机架中去。
    3. 放在不同的数据中心,或者放到零个机架。
    4. 这样放的目的是为了高可能性。未了数据的安全。
    • 数据是如何写道分布式文件系统中去的。
  • 相关阅读:
    《精通情绪》读书笔记
    绩效评估与绩效反馈
    数据分析报告格式zz
    学会谈判zz
    javascript中的双向绑定
    理解 DocumentFragment
    理解Object.defineProperty()
    Vue 改变数组中对象的属性不重新渲染View的解决方案
    ES6中Object.assign() 方法
    控制input输入框光标的位置
  • 原文地址:https://www.cnblogs.com/dousil/p/12180127.html
Copyright © 2011-2022 走看看