zoukankan      html  css  js  c++  java
  • HDFS 存放策略

    数据块

    • 每个磁盘都有默认数据块大小,这个数据块就是磁盘存取得最小得单位。
    • 磁盘块得大小一般为512字节
    • 数据块得大小小于512字节,他得空间也会被占用。

    HDSF 数据块

    • HDFS也有数据块得大小,大小以前为64M,当前得大小为128M 。
    • 如果该块没有存满,不会占用整个数据块得空间。
    • HDFS 块得大小为什么要设置这么多大
    1. HDFS 得时间都浪费到寻址中去。传输时间大于选址时间,读取文件所消耗得时间就传输时间。
    2. 例子:加入寻址时间10ms,磁盘读写得速率时100MB/s,寻址用总时间得1%,计算到块得大小未100MB ,所以设置128M
    • 切片
    1. 切片得大小和块得大小他时相同的

    副本放置策略。

    • 网络拓扑
    • 副本存放策略,同数据中心不同机架之间的数据是4,不同数据中心距离是6。
    1. 看客户端程序离那个数据近。第一个节点放在客户端所在机架。如果不再集群几点中,随机房放在某个机架中。
    2. 第二个副本放到另一个机架中去。
    3. 放在不同的数据中心,或者放到零个机架。
    4. 这样放的目的是为了高可能性。未了数据的安全。
    • 数据是如何写道分布式文件系统中去的。
  • 相关阅读:
    springboot 打包部署
    mybatis 插入空值时报错 TypeException
    margin 居中
    node.js 开发命令行工具 发布npm包
    webstorm vue环境设置
    vue数组操作不触发前端重新渲染
    数字英文超过宽度不换行问题
    Jquery checkbox 遍历
    小图标垂直居中
    vue this.$router.push 页面不刷新
  • 原文地址:https://www.cnblogs.com/dousil/p/12180127.html
Copyright © 2011-2022 走看看