zoukankan      html  css  js  c++  java
  • 第129讲:Hadoop集群管理工具fsck实战详解学习笔记

    129讲:Hadoop集群管理工具fsck实战详解学习笔记

    是用检查hdfs具体文件、文件夹的健康状况的。

    这个工具帮助我们检查hdfs中文件在datanode中缺失的块及过程或过少的replication复本的内容。

    hadoop fsck PATH

    会从给定路径循环遍历文件系统中的内容,但此时访问的是namenode,而不是datanode,对于检查过的文件都会打印点。

    文件在namenode中是以块的形式存在的,所以获取的是namenode中具体block的元数据的信息,检查和实际集群的配置是否一致。

    结果中的over-replicated blocks:复本数超出了指定的复本数。

    hdfs在系统运行时会自动删除多余的复本。

    under-replicated blockhdfs会自动为这些块创建新的复本。

    mis-replicated block:违反了block replication旋转策略的块,如3个复本存在于一个机架上,就可以认定其错误,因为至少要分布在两个不同的机架。

    corrupt bolck:损坏的块指所有复本都已损坏。

    Missing replicas: 集群中没有任何复本的块。

    corrupt bolckMissing replicas是最需要关注的。这种情况下数据已丢失。默认情况下hdfs不会对这两种块进行任何操作。但我们可以执行一些操作如move,可以把受影响的文件移动到hdfs的根目录中的/lost+found中。

    -delete  删除

    检查结果中每一个块占用一行信息。

     

    以上内容是王家林老师DT大数据梦工厂《Hadoop深入浅出实战经典》第129讲的学习笔记。
    王家林:SparkFlinkDockerAndroid技术中国区布道师。Spark亚太研究院院长和首席专家,DT大数据梦工厂创始人,Android软硬整合源码级专家,英语发音魔术师,健身狂热爱好者。

    微信公众账号:DT_Spark

    联系邮箱18610086859@126.com 

    电话:18610086859

    QQ:1740415547

    微信号:18610086859  

    新浪微博:ilovepains

    王家林的第一个中国梦:免费为全社会培养100万名优秀的大数据从业人员!

    可以通过王家林老师的微信号18610086859发红包捐助,目前已经发布的王家林免费视频全集如下:

    1,《大数据不眠夜:Spark内核天机解密(共100讲)》:http://pan.baidu.com/s/1eQsHZAq  

    2,《Hadoop深入浅出实战经典》 http://pan.baidu.com/s/1mgpfRPu 

    3,《Spark纯实战公益大讲坛》 http://pan.baidu.com/s/1jGpNGwu 
    4,《Scala深入浅出实战经典》 http://pan.baidu.com/s/1sjDWG25 
    5,《Docker公益大讲坛》 http://pan.baidu.com/s/1kTpL8UF 
    6,《Spark亚太研究院Spark公益大讲堂》 http://pan.baidu.com/s/1i30Ewsd 

    7Spark实战高手之路全部六阶段视频:http://edu.51cto.com/pack/view/id-144.html

    8,《大数据Spark企业级实战》购买http://item.jd.com/11622851.html

     

    129讲视频网站地址:

    51CTO

    http://edu.51cto.com/lesson/id-78238.html

  • 相关阅读:
    9.19题解
    9.18题解
    改码风
    找到了几个好的网站
    题目链接
    二分上机训练题解
    二分例题简单说明
    贪心上机训练题解
    贪心算法例题简单说明
    Johnson法则证明
  • 原文地址:https://www.cnblogs.com/richard1023/p/4966778.html
Copyright © 2011-2022 走看看