zoukankan      html  css  js  c++  java
  • 容器卡在terminate状态无法删除

    1. pod卡在terminate状态无法删除。一般是lxcfx 卡住 或者 logcounter组件进程读容器数据盘分区导致的

    2.  验证一下我们的猜测

    cat /sys/fs/fuse/connections/*/waiting 看有不为0且数字连续不变的值,或有D状态的进程,堆栈卡在fuse_waited,  若有则是lxcfs卡住导致的。重启一下lxcfs服务即可恢复

    看kubelet日志,journalctl -u kubelet -r  

    若出现这种日志,则说明是logcounter组件进程还在读写容器数据盘分区导致回收容器时无法删除该分区,fuser查看是什么进程占用了分区


    [root@ ~]# fuser -m -v /home/data/kubelet/pods/f27f2acc-6466-11eb-bf87-8030e04127a8/volumes/kubernetes.io~lvm/externalvolume
    USER PID ACCESS COMMAND
    /home/data/kubelet/pods/f27f2acc-6466-11eb-bf87-8030e04127a8/volumes/kubernetes.io~lvm/externalvolume:
    root kernel mount /home/data/kubelet/pods/f27f2acc-6466-11eb-bf87-8030e04127a8/volumes/kubernetes.io~lvm/externalvolume
    root 548083 f.... counter

    看这个counter

    [root@ ~]# ps -elf | grep 548083
    4 S root 548083 548080 5 80 0 - 1437502 futex_ Mar31 pts/0 1-01:01:34 counter -p /etc/logengine/ -f config -t json

    3.,logengine是日志服务loghouse的组件,以daemonset形式部署在所有节点上,kill后会自动拉起,所以直接kill掉就可以

    kill -9 548083 后,容器就能正常删除(还删不掉就重启 一下kubelet)

  • 相关阅读:
    任务安排(代价提前付)
    10 01模拟赛订正
    哈希hash
    初学期望
    P1251 递推专练3
    P1229-神秘岛
    P1228-重叠的图像
    白银莲花池
    求强连通分量
    割边
  • 原文地址:https://www.cnblogs.com/Xinenhui/p/14845045.html
Copyright © 2011-2022 走看看