zoukankan      html  css  js  c++  java
  • Hadoop介绍

     Hadoop介绍 

    第一节:简介

    hadoop基于普通廉价机的提供高可用、高扩展、高容错的分布式存储计算服务的。

    hadoop设计的时候考虑到集群中任何一个节点任何时间都有可能出故障  hadoop已经帮你规避了。

    第二节:hadoop产生背景

    一、google

    海量的网页数据如何存储的问题?

    海量网页数据如何计算?

    海量网页数据快速查询?

    之后在2003年发布了3篇论文:

    GFS---- GOOGLE FILE SYSTEM google的文件系统

    MAPREDUCE--- google的分布式计算方案

    BIGTABLE--- google的分布式数据库

    二、Doug Cutting

    doug cutting 将google的3篇论文使用java语言实现了并且开源贡献给apache

    GFS--- HDFS

    MAPREDUCE---MAPREDUCE

    BIGTABLE---HBASE

    hadoop1.0 分为2个模块:hdfs、mapreduce

    三、hadoop解决的问题

    海量数据的存储、海量数据的计算

    第三节:hadoop包含代码模块

    hadoop common: 工具类

    hdfs (hadoop distributed file system):hadoop的分布式文件系统

    mapreduce:hadoop的分布式计算服务

    yarn:hadoop的分布式资源调度框架

    第四节:hadoop包含功能模块

    一、 hdfs

    1、作用

    分布式存储,一主多从一助理。

    2、namenode

    分布式存储的老大,管理每个节点上存储数据的编号,对应关系

    3、datanode

    负责真正的数据存储的,真正干活的

    4、secondarynamenode

    namenode的助理,备份namenode的数据 ,帮助namenode减压。

    二、mapreduce

    分布式计算程序,安装完成没有对应进程

    三、yarn

    1、作用

    服务于计算程序的,主从。

    2、resourcemanager

    资源调度的老大(只能一个),决定哪一个计算任务需要多少资源在哪一个节点分配资源的。

    3、nodemanager

    提供资源运行任务的(可以多个)

  • 相关阅读:
    游戏开发之游戏策划的基本原则
    Lua游戏脚本语言入门
    游戏策划之游戏心理学理论深入浅出
    微博的10大特征包括哪些?
    普米族求助,十万火急!!! 请大家给力!!!
    剑指微博营销,速创品牌传奇
    将网络推广进行到底
    浅谈如何利用微博进行网站推广(转)
    “土风计划”,陈哲另一个伟大事业
    快速增加微博粉丝的十六大技巧
  • 原文地址:https://www.cnblogs.com/lizm166/p/13354882.html
Copyright © 2011-2022 走看看