问题现象:当前集群跑hadoop的时候,,任务失败,但是跑任务的容器没有正常退出,显示一大堆的YarcChild进程,,more /proc/进程/status 查看其状态,进程为D(disk sleep),当使用ps 查看所有D进程状态的时候,执行ps这个命令的进程也变成了D状态,,尬的一批。所谓D状态就是不可中断的状态,处于该状态下的进程不接受任何发给他的信号,通常导致该情况产生的原因是由于长时间等待IO导致的,一般的处理方法是reboot,但是生成环境服务器,还是大量的机器有处于D状态的进程,,进行reboot是不可取的。
1、在Linux下创建一个killd.c文件,该文件的信息如下:
#include <linux/init.h> #include <linux/kernel.h> /*Needed by all modules*/ #include <linux/module.h> #include <linux/sched.h> //for_each_process MODULE_LICENSE("BSD"); static int pid = -1; module_param(pid, int, S_IRUGO); static int killd_init(void) { struct task_struct * p; printk(KERN_ALERT "killd: force D status process to death/n"); printk(KERN_ALERT "killd: pid=%d/n", pid); //read_lock(&tasklist_lock); for_each_process(p){ if(p->pid == pid){ printk("killd: found/n"); set_task_state(p, TASK_STOPPED); printk(KERN_ALERT "killd: aha, dead already/n"); return 0; } } printk("not found"); //read_unlock(&tasklist_lock); return 0; } static void killd_exit(void) { printk(KERN_ALERT "killd: bye/n"); } module_init(killd_init); module_exit(killd_exit);
2、同路径下创建Makefile文件,内容如下:
obj-m := killd.o all : $(MAKE) -C /lib/modules/$(shell uname -r)/build M=$(PWD) modules //最前面的空格必须是tab键生产,否则编译产生错误Makefile:3: *** missing separator. Stop. clean: $(MAKE) -C /lib/modules/$(shell uname -r)/build M=$(PWD) clean
3、在当前目录下执行make
执行报错,如下:
make -C /lib/modules/3.10.0-957.5.1.el7.x86_64/build M=/data1/c-make modules make: *** /lib/modules/3.10.0-957.5.1.el7.x86_64/build: No such file or directory. Stop. make: *** [all] Error 2
提示没有文件
4、进入/usr/src/kernels/下看有没有相应的内核开发包,没有,就安装,若有跳过第一步
UNAME=$(uname -r)
yum install gcc kernel-devel-${UNAME%.*}
正常情况下安装完成以后就可以正常编译了,如果不行,创建软连接
ln -s /usr/src/kernels/3.10.0-957.5.1.el7.x86_64/ /lib/modules/3.10.0-957.5.1.el7.x86_64/build/
5、插入模块的时候提供D状态的进程号,就可以将其转换为t状态,使用普通kill就可以杀死。
sudo insmod ./killd.ko pid=1234
借鉴: