zoukankan      html  css  js  c++  java
  • 杂碎记录

    free -h 查看liunx内存使用情况

    df -h 查看hadoop中空间占用命令

    du -h -x --max-depth=1  查看当前路径下哪个目录占用过高

    hadoop dfsadmin -report   //检查hadoop的使用情况

    hdfs修复 

    hadoop命令fsck命令        在HDFS中,提供了fsck命令,用于检查HDFS上文件和目录的健康状态、获取文件的block块信息和位置信息等。

    具体命令介绍:

    -move: 移动损坏的文件到/lost+found目录下
    -delete: 删除损坏的文件
    -openforwrite: 输出检测中的正在被写的文件
    -list-corruptfileblocks: 输出损坏的块及其所属的文件
    -files: 输出正在被检测的文件
    -blocks: 输出block的详细报告 (需要和-files参数一起使用)
    -locations: 输出block的位置信息 (需要和-files参数一起使用)
    -racks: 输出文件块位置所在的机架信息(需要和-files参数一起使用)

    例子:

    hdfs debug recoverLease -path <path-of-the-file> -retries <retry times>

    hdfs fsck / #检查集群的健康状态
    hdfs debug recoverLease -path 文件位置 -retries 重试次数 #修复指定的hdfs数据块。也就是关闭打开的文件。

    hadoop fsck /user -files -blocks -locations  //检查坏块

    hadoop fsck /user openforwrite  //检查是否有数据块正在写入

  • 相关阅读:
    Python Package(转)
    22. 分数化小数 decimal
    21. 子序列的和 subsequence
    20. 倒三角形 triangle
    19. 韩信点兵hanxin
    18. 水仙花数daffodil
    17. 数据统计2
    16. 数据统计
    15. 阶乘之和
    14. 近似计算
  • 原文地址:https://www.cnblogs.com/zyanrong/p/11045757.html
Copyright © 2011-2022 走看看