zoukankan      html  css  js  c++  java
  • Hadoop学习笔记(五)hdfs的四大机制和两大核心

    hdfs的四大机制和两大核心

    四大机制:

    1,心跳机制

     当namenode连续10次没有接受到DataNode的心跳报告,则会向DataNode发送一次检查(检查时间:5分钟)

    检查时间由以下参数决定(单位为毫秒)

     如果一次检查没有结果返回,则再进行一次检查,如果再获取不到结果返回信息,则判断DataNode死了。

    namenode最终判断DataNode宕机总共需要630秒。

    2,安全模式

      

     集群启动时namenode 的内存元数据是从DataNode的心跳报告获取,还包含数据块的存储位置,获取DataNode的存货状况。

    集群处于安全模式 的时候加载元数据和获取DataNode的心跳报告,不允许外界对集群进行操作。

    当集群处于维护和升级的时候,可以手动将集群设置为安全模式,

    命令:hdfs dfsadmin -safemode enter(进入安全模式),

               hdfs dfsadmin -safemode leave(退出安全模式),

                hdfs dfsadmin -safemode get(获取安全模式状态,安全模式是否开启,如果开启返回NO,关闭返回OFF),

                 hdfs dfsadmin -safemode wait(等待自行退出安全模式)

    安全模式下用户可执行的操作:ls(查看目录),cat(查看文件),get(下载),不修改元数据(抽象目录树没有修改)

    安全模式下用户不可执行的操作:mkdir(创建文件夹),put(上传),修改文件名,文件追加,修改元数据(抽象目录树修改)

    3,机架策略(真实生产中可以自定义配置机架策略)

    副本存放机制,同一个机架使用一条电路,

    第一个副本存放在客户端所在的节点上,

    第二个副本存放在不同第一个副本的机架的服务器上,防止机架断电

    第三个副本存放在和第一个副本相同的机架的不同节点上,在风险度相同的情况下,优先网络传输少的。

    4,负载均衡(常在添加新的节点的时候进行负载均衡操作)

    每个节点上存储的数据的百分比相差不大(负载均衡)

    在上传文件的时候回手动进行优先选择客户端所在的节点

     手动进行负载均衡:start-balancer.sh -t 10%设置任意两个节点之间的存储不超过10%则认为处在负载均衡,等待集群空闲的时候执行。

    两大核心功能:

    1,上传

    2,下载

    元数据管理

  • 相关阅读:
    P1903 [国家集训队]数颜色 / 维护队列 莫对算法
    P1016 旅行家的预算 模拟 贪心
    P3948 数据结构 差分数组
    乘法逆元 模板
    二分法 最大化平均值
    HDU5213 Lucky 莫队算法 容斥定理
    P1083 借教室 差分数组
    发布订阅、redis的配置文件、redis的主从、redis的持久化、
    nosql、redis、性能测试、命令相关、redis的数据类型string、list、hash、set、zset、
    nginx的日志、禁止访问、反向代理、权重、nginx location匹配规则、location分离、WSGI、
  • 原文地址:https://www.cnblogs.com/lq13035130506/p/11550462.html
Copyright © 2011-2022 走看看