zoukankan      html  css  js  c++  java
  • Hadoop读书笔记(一)Hadoop介绍

    1.Hadoop是什么?

    适合大数据的分布式与计算平台。


    HDFS:Hadoop Distributed File System 分布式文件系统
     MapReduce:并行计算框架

    2.HDFS的架构

        主从结构
        主节点,仅仅有一个:namenode
            从节点,有非常多个:datanodes
    namenode负责:
    接收用户操作请求
    维护文件系统的文件夹结构
    管理文件与block之间关系,block与datanode之间关系

      datanode负责:
    存储文件
    文件被分成block存储在磁盘上
    为保证数据安全。文件会有多个副本

    3.MapReduce的架构

    主从结构

    主节点。仅仅有一个:JobTracker
    从节点,有非常多个:TaskTrackers
    JobTracker负责:
    接收客户提交的计算任务
    把任务分给TaskTrackers
    监控TaskTracker的运行情况
    TaskTrackers负责:
    运行JobTrackers分配的计算任务

    4.Hadoop的特点

    扩容能力(Scalable):能可靠的(reliably)存储和处理千兆(PB)数据。
    成本低(Economical):能够通过普通机器组成server来分发以及处理数据。

    这些server群总计可达数千个节点

    高效率(Efficient):通过分发数据。hadoop能够再数据所在的节点上并行(parallel)处理它们,这使得处理的很的高速。
    可靠性(Reliable):hadoop能自己主动的维护数据的多份副本。而且在任务失败后能自己主动的又一次部署(redeploy)计算任务。


    欢迎大家一起讨论学习!

    实用的自己收!

    记录与分享,让你我共成长!

    欢迎查看我的其它博客;我的博客地址:http://blog.csdn.net/caicongyang


      


  • 相关阅读:
    python Asyncore.dispatcher 理解
    COCOA® PROGRAMMING FOR MAC® OS X (2)- Speak Line
    COCOA® PROGRAMMING FOR MAC® OS X (1)- Get Start
    Objetive-C initialize研究
    Objetive-C +load方法研究
    Python创建多进程,用Queue传递信息
    Python 中的GIL
    IOS CrackMe 破解学习
    越狱手机发送短信
    Vue 子组件向父组件传参
  • 原文地址:https://www.cnblogs.com/liguangsunls/p/7054057.html
Copyright © 2011-2022 走看看