zoukankan      html  css  js  c++  java
  • 杂碎记录

    free -h 查看liunx内存使用情况

    df -h 查看hadoop中空间占用命令

    du -h -x --max-depth=1  查看当前路径下哪个目录占用过高

    hadoop dfsadmin -report   //检查hadoop的使用情况

    hdfs修复 

    hadoop命令fsck命令        在HDFS中,提供了fsck命令,用于检查HDFS上文件和目录的健康状态、获取文件的block块信息和位置信息等。

    具体命令介绍:

    -move: 移动损坏的文件到/lost+found目录下
    -delete: 删除损坏的文件
    -openforwrite: 输出检测中的正在被写的文件
    -list-corruptfileblocks: 输出损坏的块及其所属的文件
    -files: 输出正在被检测的文件
    -blocks: 输出block的详细报告 (需要和-files参数一起使用)
    -locations: 输出block的位置信息 (需要和-files参数一起使用)
    -racks: 输出文件块位置所在的机架信息(需要和-files参数一起使用)

    例子:

    hdfs debug recoverLease -path <path-of-the-file> -retries <retry times>

    hdfs fsck / #检查集群的健康状态
    hdfs debug recoverLease -path 文件位置 -retries 重试次数 #修复指定的hdfs数据块。也就是关闭打开的文件。

    hadoop fsck /user -files -blocks -locations  //检查坏块

    hadoop fsck /user openforwrite  //检查是否有数据块正在写入

  • 相关阅读:
    docker compose示例
    mysql表分区案例
    mysql表分区实战
    mysql分表
    MongoDB基础教程系列--目录结构
    如何优化Mysql千万级快速分页,limit优化快速分页,MySQL处理千万级数据查询的优化方案
    网站性能压力测试工具--apache ab使用详解
    tomcat8 JVM 优化
    tomcat8 性能优化
    redis.properties
  • 原文地址:https://www.cnblogs.com/zyanrong/p/11045757.html
Copyright © 2011-2022 走看看