zoukankan      html  css  js  c++  java
  • hadoop介绍

    hadoop:是java写的一个框架,可以理解成java写的一个应用,他主要是用来分布式存储和分布式计算。

    1 为什么需要分布式存储,因为单台设备不够存储,实现办法的hadoop分布式是文件系统hdfs

    2 分布式计算:因为数据量很大、一台机器硬件资料有限,实现办法是yarn和MapReduce、yarn是资料的管理系统,MapReduce是把计算分发到yarn是进行处理,为什么需要yarn是因为在计算过程中会出现资源的争夺等等,需要yarn统一管理,MapReduce分两个过程,map和reduce。

    hadoop的基本组件

    1 通用组件、比如rpc调用

    2 HDFS分布式文件系统、用来分布式存储。

    3 yarn分布式资源管理

    4 MapReduce分布式批处理

    hadoop生态游很多组件

    hive

    HBASE

    spark

    等等

  • 相关阅读:
    关于DOM与BOM
    常用单位及颜色表
    关于Grid
    form表单
    自我介绍
    python——3种字符串反转方法
    JavaScript 正则表达式
    关于JavaScript的DOM和BOM
    CSS颜色表示的几种方式
    CSS的常用单位介绍
  • 原文地址:https://www.cnblogs.com/kuainiao/p/9379355.html
Copyright © 2011-2022 走看看