zoukankan      html  css  js  c++  java
  • hadoop组成

    1、HDFS(数据存储)

    ①、NameNode:存储文件的元数据,如文件名,文件目录结构,文件属性(生成时间、副本数,文件权限),以及每个文件的块列表和块所在的DataNode等。

    ②、DataNode:在本地文件系统存储文件块数据,以及块数据的校验和。

    ③、Secondary NameNode:用来监控HDFS状态的辅助后台查询,每隔一段时间获取HDFS元素的快照。

    2、YARN(资源调度)

    3、MapReduce(计算)

    MapReduce将计算过程分为两个阶段:Map和Reduce,如图所示。

    ①、Map阶段并行处理输入数据。

    ②、Reduce阶段对Map结果进行汇总。

    4、Common(辅助工具)

    大数据技术生态体系

  • 相关阅读:
    分解质因数
    记忆化搜索
    BFS(广度优先搜索)
    DFS(深度优先搜索)
    A*算法
    最小生成树
    最近公共祖先(LCA)问题
    k短路算法
    次短路问题
    拓扑排序
  • 原文地址:https://www.cnblogs.com/cq-yangzhou/p/10517151.html
Copyright © 2011-2022 走看看