zoukankan      html  css  js  c++  java
  • (10)Hadoop2.0主流开源云架构之Hadoop简述

    1.Hadoop的由来

    2002年,开源组织Apache成立开源搜索引擎项目Nutch

    2004年,Apache实现了Nutch版的NDFS和MapReduce
    2006年,NDFS和MapReduce移出Nutch,形成独立项目,称为Hadoop。 
    Hadoop采用客户-服务器模式,Hadoop 2.0很容易从一台机器扩展至成千上万台机器,并且每台机器都能提供本地计算存储和本地计算。 
    考虑到集群中每台机器都可能会出问题(如硬件失效),Hadoop 2.0本身从设计上就在程序层规避了这些问题。 
    Hadoop的组成:
    Hadoop至少应当包含分布式存储分布式计算两个模块
    (1)HDFS  Hadoop的分布式文件系统。
    主要提供分布式存储服务。 
    (2)Hadoop MapReduce 分布式计算框架。
    主要负责资源管理、任务调度和MapReduce算法实现。
    (3)Hadoop Common  
    联系HDFS和MapReduce的纽带,它一方面为另外两组件提供一些公用jar包,另一方面也是程序员访问其他两模块的接口。 
    (4)Yarn 分布式操作系统
     

    2.Hadoop的相关项目

    Google云计算组件和Hadoop及其相关项目之间的对应关系: 

    3.Hadoop的应用

    (1)构建大型分布式集群
    (2)数据仓库
    (3)数据挖掘
  • 相关阅读:
    day70 django中间件
    day69 cookie与session
    day68 form组件
    day67 前后端数据交互
    day65 django进阶(1)
    day64 django模型层
    day63 django入门(4)
    day62 作业
    Python正课142 —— DRF 进阶3 路由与认证
    一文搞懂什么是IaaS, PaaS和SaaS
  • 原文地址:https://www.cnblogs.com/paradis/p/11017459.html
Copyright © 2011-2022 走看看