zoukankan      html  css  js  c++  java
  • hadoop集群崩了,用了一天才重新弄好。

      今天弄虚拟机的时候发现打开Hadoop集群的那个sbin/start-dfs.sh命令不好使了,报了一堆错,是这样的

    Permission denied (publickey,gssapi-keyex,gssapi-with-mic,password)

    咋打也打不开,网页搜索http://hadoop102:9870也搜不到了,遇到这种集群崩了的处理办法,我总结了我的处理方法,当启动Hadoop报上面那个错误的时候是因为你的ssh免密登录出现了问题。

    在网上也是查找了很多的修改方法,大同小异,无非是让你修改sshd_config文件,再创建密钥,修改权限,但我发现一点效果也没有,而且修改完成之后我连xshell都连不上虚拟机了,当时非常崩溃。

    所以我建议大家尽量不要相信网上的修改方法,因为不懂虚拟机的运行原理,有可能越改越乱,最后啥也弄不好了。

      我知道我是ssh免密登录没弄好,所以我回过头去整了一下我的ssh发现确实少了个文件,可能是写代码的时候用idea删掉了。

      解决方法:进入到以下目录,查看是否生成过秘钥对,如果有的话直接ssh-copy-id 主机名 没有的话执行ssh-keygen -t rsa后再重新执行ssh-copy-id 主机(不要忘记本机),停掉hadoop,重新启动。

    无论你之前是安好hadoop之后又崩坏的还是一直没安好出现的这个问题,按照我的方法都适用。

     下面是具体的ssh免密配置方法:

    (1)免密登录原理

    (2)生成公钥和私钥
    [atguigu@hadoop102 .ssh]$ pwd
    /home/atguigu/.ssh
    [atguigu@hadoop102 .ssh]$ ssh-keygen -t rsa

    然后敲(三个回车),就会生成两个文件 id_rsa(私钥)、id_rsa.pub(公钥)

    (3)将公钥拷贝到要免密登录的目标机器上
    [atguigu@hadoop102 .ssh]$ ssh-copy-id hadoop102
    [atguigu@hadoop102 .ssh]$ ssh-copy-id hadoop103
    [atguigu@hadoop102 .ssh]$ ssh-copy-id hadoop104

       

    注意:
    还需要在 hadoop103 上采用 atguigu 账号配置一下无密登录到 hadoop102、hadoop103、
    hadoop104 服务器上。
    还需要在 hadoop104 上采用 atguigu 账号配置一下无密登录到 hadoop102、hadoop103、
    hadoop104 服务器上。
    还需要在 hadoop102 上采用 root 账号,配置一下无密登录到 hadoop102、hadoop103、
    hadoop104;

    3).ssh 文件夹下(~/.ssh)的文件功能解释

    known_hosts :记录 ssh 访问过计算机的公钥(public key)
    id_rsa :生成的私钥
    id_rsa.pub : 生成的公钥
    authorized_keys :存放授权过的无密登录服务器公钥

  • 相关阅读:
    POJ 1681 Painter's Problem(高斯消元法)
    HDU 3530 Subsequence(单调队列)
    HDU 4302 Holedox Eating(优先队列或者线段树)
    POJ 2947 Widget Factory(高斯消元法,解模线性方程组)
    HDU 3635 Dragon Balls(并查集)
    HDU 4301 Divide Chocolate(找规律,DP)
    POJ 1753 Flip Game(高斯消元)
    POJ 3185 The Water Bowls(高斯消元)
    克琳:http://liyu.eu5.org
    WinDbg使用
  • 原文地址:https://www.cnblogs.com/092e/p/15313238.html
Copyright © 2011-2022 走看看