zoukankan      html  css  js  c++  java
  • hadoop之简洁知识点

    1.hadoop
    hadoop2.0的HA机制官方介绍了有2种方式,一种是NFS(Network File System)方式,另外一种是QJM(Quorum Journal Manager)方式。
    高可用:单点故障 hadoop_ha JournalNodes集群 active standby
    修改一次元数据都会生成一条edits log,除了写入本地磁盘文件,还会写入JournalNodes集群
    namenode:
    NameNode主要是用来保存HDFS的元数据信息,比如命名空间信息,块信息等。当它运行的时候,这些信息是存在内存中的。但是这些信息也可以持久化到磁盘上。
    fsimage - 它是在NameNode启动时对整个文件系统的快照
    edit logs - 它是在NameNode启动后,对文件系统的改动序列
    datanode:
    存储block
    Secondarynamenode :
    1.镜像备份,备份fsimage
    2.edit.log和旧的fsimage 合并成新的fsimage,发送给namenode
    2.yarn
    在集群中的表现形式为:1个JobTracker带多个TaskTracker;
    JobTracker:负责资源管理和作业调度;
    TaskTracker:定期向JobTracker汇报本节点的健康状况、资源使用情况以及任务的执行情况;接收来自JobTracker的命令(启动/杀死任务等)并执行接收到的命令;
    3.mapreduce
    maptask 由split决定
    reducetask 由partition决定


    !!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!

  • 相关阅读:
    flex 圣杯布局
    .net mvc里AutoMapper更为便捷的使用方法
    使用ClaimsIdentity来实现登录授权
    判断js中数据类型 的最短代码
    输入分钟、秒倒计时
    .net 导出Excel插件Npoi的使用
    seajs简单使用
    图片懒加载
    dropload上拉加载更多
    基于移动端的左滑删除
  • 原文地址:https://www.cnblogs.com/wpy188/p/12416401.html
Copyright © 2011-2022 走看看