zoukankan      html  css  js  c++  java
  • Hadoop学习笔记入门须知

    1.Hadoop的主要组成部分

      HDFS:分布式文件存储(海量数据的存储)

      MapReduce:分布式计算(海量数据的计算和分析)

      YARN:资源管理调度(多个任务排队执行还是同时执行)

    2.HDFS:解决海量数据的存储

      HDFS由3种主要的节点构成:

        1) NameNode  主节点:用来存储数据的存放位置等元数据(不存放数据)

          •接收用户操作请求

          •维护文件系统的目录结构

          •管理文件与block之间关系,block与datanode之间关系

        2) DataNode 从节点:只用来存储数据

          •存储文件

          •文件被分成block存储在磁盘上

          •为保证数据安全,文件会有多个副本

        3) SecondaryNameNode   辅助NameNode运行,将NameNode产生的元数据持久化到磁盘上

    3.MapReduce的计算模型

    4.Hadoop集群的无密登录

      配置ssh的公钥

  • 相关阅读:
    梯度下降(Gradient Descent)
    Positioning-Based Photo Retrieval
    NTU Long-Term Positioning Dataset
    Pycharm导入tabula模块包
    MySQL学习笔记20
    MySQL学习笔记17-19
    Android studio 报错AAPT2 error
    MySQL学习笔记13-16
    MySQL学习笔记 8-12
    机器学习十大算法
  • 原文地址:https://www.cnblogs.com/fengcha0/p/10133959.html
Copyright © 2011-2022 走看看