zoukankan      html  css  js  c++  java
  • (10)Hadoop2.0主流开源云架构之Hadoop简述

    1.Hadoop的由来

    2002年,开源组织Apache成立开源搜索引擎项目Nutch

    2004年,Apache实现了Nutch版的NDFS和MapReduce
    2006年,NDFS和MapReduce移出Nutch,形成独立项目,称为Hadoop。 
    Hadoop采用客户-服务器模式,Hadoop 2.0很容易从一台机器扩展至成千上万台机器,并且每台机器都能提供本地计算存储和本地计算。 
    考虑到集群中每台机器都可能会出问题(如硬件失效),Hadoop 2.0本身从设计上就在程序层规避了这些问题。 
    Hadoop的组成:
    Hadoop至少应当包含分布式存储分布式计算两个模块
    (1)HDFS  Hadoop的分布式文件系统。
    主要提供分布式存储服务。 
    (2)Hadoop MapReduce 分布式计算框架。
    主要负责资源管理、任务调度和MapReduce算法实现。
    (3)Hadoop Common  
    联系HDFS和MapReduce的纽带,它一方面为另外两组件提供一些公用jar包,另一方面也是程序员访问其他两模块的接口。 
    (4)Yarn 分布式操作系统
     

    2.Hadoop的相关项目

    Google云计算组件和Hadoop及其相关项目之间的对应关系: 

    3.Hadoop的应用

    (1)构建大型分布式集群
    (2)数据仓库
    (3)数据挖掘
  • 相关阅读:
    BZOJ 2260: 商店购物
    BZOJ 4349: 最小树形图
    BZOJ 1115: [POI2009]石子游戏Kam
    BZOJ 1413: [ZJOI2009]取石子游戏
    BZOJ 2275: [Coci2010]HRPA
    BZOJ 4730: Alice和Bob又在玩游戏
    BZOJ 1455: 罗马游戏
    BZOJ 3509: [CodeChef] COUNTARI
    BZOJ 1513: [POI2006]Tet-Tetris 3D
    #大数加减乘除#校赛D题solve
  • 原文地址:https://www.cnblogs.com/paradis/p/11017459.html
Copyright © 2011-2022 走看看