zoukankan      html  css  js  c++  java
  • Hadoop学习笔记入门须知

    1.Hadoop的主要组成部分

      HDFS:分布式文件存储(海量数据的存储)

      MapReduce:分布式计算(海量数据的计算和分析)

      YARN:资源管理调度(多个任务排队执行还是同时执行)

    2.HDFS:解决海量数据的存储

      HDFS由3种主要的节点构成:

        1) NameNode  主节点:用来存储数据的存放位置等元数据(不存放数据)

          •接收用户操作请求

          •维护文件系统的目录结构

          •管理文件与block之间关系,block与datanode之间关系

        2) DataNode 从节点:只用来存储数据

          •存储文件

          •文件被分成block存储在磁盘上

          •为保证数据安全,文件会有多个副本

        3) SecondaryNameNode   辅助NameNode运行,将NameNode产生的元数据持久化到磁盘上

    3.MapReduce的计算模型

    4.Hadoop集群的无密登录

      配置ssh的公钥

  • 相关阅读:
    蓝桥杯2016初赛
    蓝桥杯2016初赛
    蓝桥杯2016初赛
    蓝桥杯2015初赛
    关于VS本身遇到的一些相关问题
    VS的一些常用快捷键
    蓝桥杯2015初赛
    Luogu P1704 寻找最优美做题曲线
    POI2009 LYZ-Ice Skates
    Luogu P4313 文理分科
  • 原文地址:https://www.cnblogs.com/fengcha0/p/10133959.html
Copyright © 2011-2022 走看看