zoukankan      html  css  js  c++  java
  • 线上排查问题常用命令

    线上问题排查,这些命令你一定用得到!

    了解机器连接数情况

    问题:1.2.3.4 的sshd的监听端口是22,如何统计1.2.3.4的sshd服务各种连接状态(TIME_WAIT/ CLOSE_WAIT/ ESTABLISHED)的连接数。 常见方法:

    • netstat -n | grep 1.2.3.4:22 | awk '/^tcp/ {++S[$NF]} END {for(a in S) print a, S[a]}’
    • netstat -lnpta | grep ssh | egrep “TIME_WAIT | CLOSE_WAIT | ESTABLISHED”
    • n [仅限于阿里云]

     说明:netstat是追查网络连接问题常用工具,和grep/awk结合更是神器,当然如果在阿里云上,还有更方便的方法。

    从已经备份好的日志中查询数据

    问题:从已备份的suyun.2019-06-26.log.bz2日志中,找出包含关键字1.2.3.4的日志有多少条。 常见方法:

    • bzcat suyun.2019-06-26.log.bz2 | grep '1.2.3.4' | wc -l
    • bzgrep '1.2.3.4' suyun.2019-06-26.log.bz2 | wc -l
    • less suyun.2019-06-26.log.bz2 | grep '10.37.9.11' | wc -l

     说明:线上日志文件一般以bz2 压缩之后保留,如果解压查询,非常耗空间与时间,bzcat   和  bzgrep是研发同学必须掌握的工具。

    备份服务的技巧

    问题:打包备份/opt/web/suyun_web目录,排除掉目录中的logs和目录,打包好的文件存放在/opt/backup目录下。 

    常见方法:tar -zcvf /opt/backup/shenjian.tar.gz  -exclude  /opt/web/suyun_web/logs   /opt/web/suyun_web 

    说明:这个命令线上应用较为频繁,在项目需要打包迁移时,常常需要排除掉日志目录,exclude是需要掌握的参数。

    查询线程数

    问题:查询服务器运行服务的总线程数,当机器线程数超报警阀值时,能快速查出相关进程及线程信息。 参考答案:

    • ps -eLf | wc -l
    • pstree -p | wc -l

    磁盘报警,清空最大文件

    问题:找出服务器上,某个正在运行的tomcat产生的大量异常日志,找出该文件,并释放空间。不妨设该文件包含log关键字,并且大于1G。

    常见方法:

    第一步,找到该文件

    • find / -type f -name "*log*" | xargs ls -lSh | more 
    • du -a / | sort -rn | grep log | more
    • find / -name '*log*' -size +1000M -exec du -h {} ;

    第二步,将文件清空

    假设找到的文件为a.log正确的情况方式应该为:echo "">a.log    文件空间会立刻释放。

    很多同学会使用:rm -rf a.log

    这样文件虽然删除,但是因tomcat服务仍在运行,空间不会立刻释放,需要重启tomcat才能将空间释放。

    显示文件,过滤注释

    问题:显示server.conf 文件,屏蔽掉#号开头的注释行 常见方法:

    • sed -n '/^[#]/!p' server.conf
    • sed -e '/^#/d' server.conf
    • grep -v "^#" server.conf

    磁盘IO异常排查

    问题:磁盘IO异常如何排查,类似写入慢或当前使用率较高,请查出导致磁盘IO异常高的进程ID。

    常见方法:

    第一步:iotop -o

    查看当前正在写磁盘操作的所有进程ID信息。

    第二步

    如果此时各项写入指标都很低,基本没有大的写入操作,则需要排查磁盘自身。

    可以查看系统dmesg或cat /var/log/message看看是否有相关的磁盘异常报错,同时可以在写入慢的磁盘上touch一个空文件看看,是否磁盘故障导致无法写入。

  • 相关阅读:
    wireshark如何抓取本机包
    模拟post请求方法
    Spring Boot中使用RabbitMQ
    Dubbo注册中心的四种配置方式详解
    spring扩展点之三:Spring 的监听事件 ApplicationListener 和 ApplicationEvent 用法,在spring启动后做些事情
    zookeeper 大量连接断开重连原因排查
    分布式一致性协议之:Gossip(八卦)算法
    MongoDB分析工具之一:explain()语句分析工具
    MongoDB分析工具之二:MongoDB分析器Profile
    MySQL安装
  • 原文地址:https://www.cnblogs.com/fanguangdexiaoyuer/p/12052075.html
Copyright © 2011-2022 走看看