zoukankan      html  css  js  c++  java
  • hadoop环境搭建之分布式的建立3

    一、说在前面

      今天在昨天的基础上将分布式的hadoop启动起来,然后进行ssh免密登录等操作

    二、配置

    ======================集群启动=======================
    
    集群启动
        如果集群是新集群,第一次启动需要格式化namenode
        在namenode的节点执行:hdfs namenode -format
    
        启动namenode
        在namenode的节点执行:hdfs --daemon start namenode
    
        启动datanode
        在所有节点执行:hdfs --daemon start datanode
    
        启动2nn
        在2nn节点执行(104):hdfs --daemon start secondarynamenode
    
        启动resourcemanager
        在rm的节点执行(103):yarn --daemon start resourcemanager
    
        启动nodemanager
        在所有的节点执行:yarn --daemon start nodemanager
        
        验证:
        java查看进程命令:  jps,查看所有的继承是否存在
        或者通过web端访问:
        NN:hadoop102:9870
        RM:hadoop103:8088
    集群启动
    =======================重复格式化======================
    
    重复格式化需要注意的问题:
        删除每个节点的data目录,再进行格式化
    重复格式化问题的解决办法
    ========================日志=========================
    
    出问题看日志 *3
        明确在哪台节点出的问题(例如102)
        明确什么操作出的问题(例如启动dn失败)
        看日志:在102的节点中,找到hadoop的日志目录
            /opt/module/hadoop-3.1.3/logs
            查看hadoop-hao-datanode-hadoop102.log
        可以通过命令 tail -n 100  hadoop-hao-datanode-hadoop102.log 
        的形式查看
    出现问题看日志
    =====================ssh免密登录=======================
    ssh免密登录
        分别在102 103 104生成公私钥
        ssh -keygen -t rsa  (四次回车)
        分别将各自的公钥授权给每台机器
        ssh-copy-id hadoopxxx
    SSH免密登录
  • 相关阅读:
    angular.js 渲染
    HTML5 与 CSS3 jQuery部分知识总结
    下拉滚动协议文本框展示样式(不可删除文本内容)
    06对象
    05数组
    1文字与字体
    04函数
    03循环
    02运算符
    01基础
  • 原文地址:https://www.cnblogs.com/suanai/p/14236038.html
Copyright © 2011-2022 走看看