zoukankan      html  css  js  c++  java
  • Hadoop的MapReduce进程卡住job/云服务器被矿工挖矿

    本人用百度的云服务器搭建集群学习Hadoop,突然发现Java进程占用了99%以上的CPU,自己MapReduce没法运行,卡在job那里,但是通过kill所有Java进程,重启Hadoop集群即可运行一两次MapReduce。我一度以为是配置出了问题。困扰了我许久,冥冥之中肯定有问题在制约着。经过找大师帮忙查看,发现了问题所在。现象及解决方法记录如下,可能不能永久的解决问题。仅为个人记录。

    通过top命令查看DataNode上的进程,以前我只是简单的将其kill掉这个Java,却经常出现。

    在master上运行任务,卡住不动或报错,我没有主动关闭过应用却出现了这种报错。

    查看日志发现,有一个可疑的dr.who用户。

    于是去DataNode上继续查看,最后的hadoop为我的用户名

    ps -aux | grep hadoop

    查找到pid对应的进程路径,发现是在/var/tmp/java,于是把这个java程序删除,但是过了没多久又自动起来了,敌人十分狡猾。

    再查找定时任务,发现有一个带ip地址的定时任务,后来去网上一搜是荷兰的IP,

    crontab -l

    再通过命令关闭定时任务

    crontab -r

    现在清净了许多,查看博客发现还要注意ddg进程

    用ps -aux | grep ddg找到了ddg进程,但是这个pid在不停的变化,根本kill不掉。先放下不管了,暂时不挖矿不影响自己的程序运行还好。

     删除/var/spool/cron里面的可疑文件。

  • 相关阅读:
    服务器迁移总结
    使用OpenSSL生成证书
    mysql Event、存储过程、表命令
    负载均衡 > 常见问题
    SpringMVC记住密码功能
    spring mvc +cookie+拦截器功能 实现系统自动登陆
    android studio之argument for @notnull parameter 'name'
    jQuery ajax表单提交实现局部刷新
    Spring MVC 中采用注解方式 Action中跳转到另一个Action的写法
    ajax表单提交全路径
  • 原文地址:https://www.cnblogs.com/skyturtle/p/10027064.html
Copyright © 2011-2022 走看看