zoukankan      html  css  js  c++  java
  • hadoop包含哪些技术?

    1、Hadoop包含哪些技术?
    Common, Avro, MapReduce, HDFS, Pig, Hive, Hbase, ZooKeeper, Sqoop, Oozie。

    2、简介
    Common:在0.20及以前的版本中,包含HDFS、MapReduce和其他项目公共内容,从0.21开始HDFS和MapReduce被分离为独立的子项目,其余内容为Hadoop Common。
    Avro:新的数据序列化格式与传输工具,将逐步取代Hadoop原有的IPC机制。
    MapReduce:并行计算框架,0.20前使用org.apache.hadoop.mapred旧接口,0.20版本开始引入org.apache.hadoop.mapreduce的新API。
    HDFS:Hadoop分布式文件系统(Hadoop Distributed File System)。
    Pig:大数据分析平台,为用户提供多种接口。
    Hive:数据仓库工具,由Facebook贡献。
    Hbase:类似Google BigTable的分布式NoSQL列数据库。(HBase和Avro已经于2010年5月成为顶级Apache项目)。
    ZooKeeper:分布式锁设施,提供类似Google Chubby的功能,由Facebook贡献。
    Sqoop:Sqoop是一个用来将Hadoop和关系型数据库中的数据相互转移的工具,可以将一个关系型数据库(例如 :MySQL, Oracle, Postgres等)中的数据导入到Hadoop的HDFS中,也可以将HDFS的数据导入到关系型数据库中。
    Oozie:负责MapReduce作业调度。

  • 相关阅读:
    第十章 Ingress
    第九章 Service
    第八章 资源控制器
    第一章 Xshell5评估期已过问题
    第七章 yaml格式
    第六章 资源清单
    第五章 配置私有仓库Harbor
    第四章 K8s部署安装
    36 SpringBoot 在系统配置文件中动态加载配置
    Java 集合、数组 任意个数数字相加等于一个指定的数
  • 原文地址:https://www.cnblogs.com/linjiqin/p/3147863.html
Copyright © 2011-2022 走看看