zoukankan      html  css  js  c++  java
  • 杂碎记录

    free -h 查看liunx内存使用情况

    df -h 查看hadoop中空间占用命令

    du -h -x --max-depth=1  查看当前路径下哪个目录占用过高

    hadoop dfsadmin -report   //检查hadoop的使用情况

    hdfs修复 

    hadoop命令fsck命令        在HDFS中,提供了fsck命令,用于检查HDFS上文件和目录的健康状态、获取文件的block块信息和位置信息等。

    具体命令介绍:

    -move: 移动损坏的文件到/lost+found目录下
    -delete: 删除损坏的文件
    -openforwrite: 输出检测中的正在被写的文件
    -list-corruptfileblocks: 输出损坏的块及其所属的文件
    -files: 输出正在被检测的文件
    -blocks: 输出block的详细报告 (需要和-files参数一起使用)
    -locations: 输出block的位置信息 (需要和-files参数一起使用)
    -racks: 输出文件块位置所在的机架信息(需要和-files参数一起使用)

    例子:

    hdfs debug recoverLease -path <path-of-the-file> -retries <retry times>

    hdfs fsck / #检查集群的健康状态
    hdfs debug recoverLease -path 文件位置 -retries 重试次数 #修复指定的hdfs数据块。也就是关闭打开的文件。

    hadoop fsck /user -files -blocks -locations  //检查坏块

    hadoop fsck /user openforwrite  //检查是否有数据块正在写入

  • 相关阅读:
    FastAdmin 提示框 toastr 改变文字
    FastAdmin 将会员模块升级为基础模块的升级指导
    随笔
    随笔
    c++11 lambda(了解)
    c++11 类型推断
    boost::archive::text_oarchive
    std::ostringstream
    随笔
    随笔1
  • 原文地址:https://www.cnblogs.com/zyanrong/p/11045757.html
Copyright © 2011-2022 走看看