zoukankan      html  css  js  c++  java
  • Hadoop介绍

     Hadoop介绍 

    第一节:简介

    hadoop基于普通廉价机的提供高可用、高扩展、高容错的分布式存储计算服务的。

    hadoop设计的时候考虑到集群中任何一个节点任何时间都有可能出故障  hadoop已经帮你规避了。

    第二节:hadoop产生背景

    一、google

    海量的网页数据如何存储的问题?

    海量网页数据如何计算?

    海量网页数据快速查询?

    之后在2003年发布了3篇论文:

    GFS---- GOOGLE FILE SYSTEM google的文件系统

    MAPREDUCE--- google的分布式计算方案

    BIGTABLE--- google的分布式数据库

    二、Doug Cutting

    doug cutting 将google的3篇论文使用java语言实现了并且开源贡献给apache

    GFS--- HDFS

    MAPREDUCE---MAPREDUCE

    BIGTABLE---HBASE

    hadoop1.0 分为2个模块:hdfs、mapreduce

    三、hadoop解决的问题

    海量数据的存储、海量数据的计算

    第三节:hadoop包含代码模块

    hadoop common: 工具类

    hdfs (hadoop distributed file system):hadoop的分布式文件系统

    mapreduce:hadoop的分布式计算服务

    yarn:hadoop的分布式资源调度框架

    第四节:hadoop包含功能模块

    一、 hdfs

    1、作用

    分布式存储,一主多从一助理。

    2、namenode

    分布式存储的老大,管理每个节点上存储数据的编号,对应关系

    3、datanode

    负责真正的数据存储的,真正干活的

    4、secondarynamenode

    namenode的助理,备份namenode的数据 ,帮助namenode减压。

    二、mapreduce

    分布式计算程序,安装完成没有对应进程

    三、yarn

    1、作用

    服务于计算程序的,主从。

    2、resourcemanager

    资源调度的老大(只能一个),决定哪一个计算任务需要多少资源在哪一个节点分配资源的。

    3、nodemanager

    提供资源运行任务的(可以多个)

  • 相关阅读:
    ElasticSearch——Logstash输出到Elasticsearch配置
    ElasticSearch——分词
    Kafka——JVM调优
    HBase管理与监控——强制删除表
    HBase管理与监控——HBase region is not online
    HBase管理与监控——内存调优
    C#利用WMI获取 远程计算机硬盘数据
    防止SQL注入方法总结
    C# 将一个DataTable的结构直接复制到另一个DataTable
    C# 按位或,按位与, 按位异或
  • 原文地址:https://www.cnblogs.com/lizm166/p/13354882.html
Copyright © 2011-2022 走看看