zoukankan      html  css  js  c++  java
  • Hadoop 生态系统

    Hadoop 生态系统

    概述:

      hadoop使用领域非常广泛,针对于不同的领域和不同的功能,各家厂商开发了并提供了很多与Hadoop相关的开发工具、开源软件、商业化工具和技术服务。Hadoop的生态系统非常丰富!本文主要内容就是解析Hadoop生态系统中各个组成部分。

    一、Hadoop的生态系统

    1.0:Zookeeper:分布式协调服务,Hbase:分布式数据库,Ambari:安装部署工具,Oozie:作业流调度系统,Hive:数据仓库,Pig:工作流引擎,Mahout:数据挖掘库,MapReduce:分布式计算框架,HDFS:分布式存储系统,Sqoop:数据库ETL工具(Extract 抽取-Transform 转换-Load 加载),Flume:日志收集。

    图-1 Hadoop1.0

    2.0:Zookeeper:分布式协调服务,Hbase:分布式数据库,Ambari:安装部署工具,Oozie:作业流调度系统,Hive:数据仓库,Pig:工作流引擎,Shark:数据仓库,Mahout:数据挖掘库,MapReduce:分布式计算框架,Tez:DAG计算,Spark:内存计算,YARN:资源管理系统,HDFS:分布式存储系统,Sqoop:数据库ETL工具(Extract 抽取-Transform 转换-Load 加载),Flume:日志收集。 

    图-2 Hadoop2.0

     

     

     

     

     

     

     

  • 相关阅读:
    RESTful风格的API
    案例:toDoList
    jQuery中的Ajax
    php 使用kafka
    crontab不执行
    php两种实现守护进程的方式
    crontab不执行脚本,手动调测又没有任何问题
    centos7 安装跳板机(堡垒机)
    Ubuntu修改默认键盘布局的方法
    openresty nginx升级版
  • 原文地址:https://www.cnblogs.com/yinminbo/p/11840517.html
Copyright © 2011-2022 走看看