zoukankan      html  css  js  c++  java
  • 第一章:Hadoop基础介绍

    Hadoop的整体框架

      Hadoop由HDFS、MapReduce、HBase、Hive和ZooKeeper等成员组成。

      HBase是一个开源的,基于列存储模型的分布式数据库

      HDFS是一个分布式文件系统。有着高容错性的特点,并且设计用来部署在低廉的硬件上,适合那些有着超大数据集的应用程序

      MapReduce是一种编程模型,用于大规模数据集(大于1TB)的并行运算

    Hadoop发行版本

      查看命令:hadoop version

      使用过的版本有:

        Hadoop 2.6.0-cdh5.16.2

        Hadoop 3.1.1.3.1.0.17-1

        Hadoop 3.1.1.3.1.4.0-315

    HDFS

      NameNode

        可以看作是分布式文件系统中的管理者,存储文件系统的meta-data,主要负责管理文件系统的命名空间,集群配置信息,存储块的复制。

      DataNode

        是文件存储的基本单元。它存储文件块在本地文件系统中,保存了文件块的meta-data,同时周期性的发送所有存在的文件块的报告给NameNode。

      Client

        就是需要获取分布式文件系统文件的应用程序。

      文件写入

        1.Client向NameNode发起文件写入的请求

        2.NameNode根据文件大小和文件块配置情况,返回给Client所管理部分DataNode的信息。

        3.Client将文件划分为多个文件块,根据DataNode的地址信息,按顺序写入到每一个DataNode块中。

      文件读取

        1.Client向NameNode发起文件读取的请求

        2.NameNode返回文件存储的DataNode的信息。

        3.Client读取文件信息。

  • 相关阅读:
    C++ 内存分配(new,operator new)详解
    单例
    实现sizeof
    muduo学习一:简介
    虚函数可以是内联函数吗?
    C++多态实现机制
    [转] Android 开源框架Universal-Image-Loader完全解析(一)--- 基本介绍及使用
    [Android]实现客户端之间的即时通信
    android获取手机通讯录
    java中forName()的作用
  • 原文地址:https://www.cnblogs.com/wtrover/p/9523448.html
Copyright © 2011-2022 走看看