zoukankan      html  css  js  c++  java
  • 关于hadoop学习的思考(一) —— 小的知识点的总结

    一、对于CDH的小总结:

          CDH:是Cloudera公司在Apache开源项目hadoop的基础上发型的,共有五个版本
    前两个已不再更新,最经的两个分别是CDH4(基于hadoop2.0.0版本演化而来)、
    CDH5(每隔一段时间就会有更新)

    CDH与Apache hadoop的区别:
    1.CDH的版本更加清晰,现在只有两个版本CDH3(基于hadoop1.0)和
    CDH4(基于hadoop2.0),hadoop的版本相对较混乱,CDH比Apache hadoop
    在兼容性、安全性、稳定性上有所增强;

    2.CDH在hadoop基础上加入了很多的Patch和修复了BUG,更新速度比hadoop要快。

    3.安全,CDH支持kerberos安全认证,Apache hadoop只支持简单的用户名匹配认证。

    4.CDH的安装方式有四种:YUM/Apt包、Tar包、RPM包、Cloudera Manager
    而Apache hadoop只支持Tar安装。


    二、SecondaryNameNode的作用:

         1.SecondaryNameNode是一个NameNode的快照,它会定期的根据配置:
    fs.checkpoint.period,默认值是3600秒,去查看备份NameNode节点上的
    fsimage镜像文件和edits日志文件,并定期对这两个文件进行合并,将
    edits文件的控制在一定的大小限度内。fs.checkpoint.size:设置了
    edits文件的大小,默认是64M,一旦edits大于这个值的时候回强制执行检查点。

         2.SecondaryNameNode作为一个检查点会保存最新的检查点的目录结构信息
    与NameNode上的目录结构信息是一致的,以前的fsimage和的edits会自动丢失。

         3.当NameNode意外挂掉的时候,需要人为手动的将SecondaryNameNode检查点的信息
    复制到NameNode节点:具体操作如下:

         前提:目录已经丢失
         a.把SecondaryNameNode节点中 ${fs.checkpoint.dir} 的所有内容拷贝到
    NameNode节点的 ${fs.checkpoint.dir} 目录中
         b.创建一个空的文件夹dfs.namenode.name.dir所指向的文件夹;
         c.启动NameNode:hadoop namenode -importCkeckpoint
    (该步会从${fs.checkpoint.dir}中恢复到${dfs.namenode.name.dir}中,
    并启动namenode)


    三、根据Yarn的架构描述一下一个资源的请求流程:

         1.Nodemanager向ResourceManager注册各个机器的资源;
         2.客户端Client向ResourceManager提交作业;
         3.ApplicationMaster(位于其中的一个NodeManager上)向ResourceManager请
    求资源,并判断NodeManager上现有的资源是否满足需求;
         4.ResourceManager以Container的形式将资源发送给ApplicationMaster;
         5.ApplicationMaster将得到的资源分发给NodeManager,各个NodeManager根据
    Container,启动一定数量的Task运行作业;
         6.Container(包含了CPU,硬盘,环境配置,启动命令等信息)作为资源单元保证了作业的隔离运行。
         7.各个Task定期的通过心跳机制给ApplicationMaster汇报任务的完成状况。最
    终直至任务完成,ApplicaMaster将完成信息返回给ResourceManager。

    如果,您认为阅读这篇博客让您有些收获,不妨点击一下右下角的【推荐】。
    如果,您希望更容易地发现我的新博客,不妨点击一下左下角的【关注我】。
    如果,您对我的博客所讲述的内容有兴趣,请继续关注我的后续博客,我是【飞翔的小伟】,谢谢!

    本文版权归作者和博客园共有,欢迎转载,但未经作者同意必须保留此段声明,且在文章页面明显位置给出原文连接,否则保留追究法律责任的权利。

    始终相信分享是一种美德,谢谢您的光顾!
  • 相关阅读:
    《SmartJs系列》屌丝逆袭,华丽转身,解读自定义ScrollBar(一)
    IE6/IE7下,li设置float后,行高变高问题__UL的padding-top Bug
    团队作业
    团队作业
    结对作业
    个人作业
    心得
    css3的自定义字体
    javascript中的call方法
    javascript对象访问
  • 原文地址:https://www.cnblogs.com/zzw081210/p/5486008.html
Copyright © 2011-2022 走看看