zoukankan      html  css  js  c++  java
  • 集群的高级设定 集群时间设置

    1 时间同步 2 历史服务器 3 日志合并

      时间同步

    时间同步设置的第二种方式: 启动 service  NTP   
    先将主节点的同步时间设置  然后在将从节点的时间同步
    主节点:
      1.vim /etc/ntp.conf

          a.将与网络同步的时间设置注释
                 

           b.注释a的上面将内容写入  注:和主节点时间一样分发给其他节点

                   restrict default ignore

                   restrict 192.168.10.0 mask 255.255.255.0 nomodify notrap

           c.  注释a的下面写入  注:不用网络同步 用主节点时间同步

              server 127.127.1.0

                  fudge 127.127.1.0 stratum 10

       2.配置文件设置好以后  输入命令同步时间
          service ntpd restart

          可以查看一下状态:service ntpd status

    每台从节点:
    输入同步命令:ntpdate linux04
    注:linux04 是主节点的主机名称

    下图都有:   

           1. 修改配置文件:vi /etc/ntp.conf       

        restrict default ignore

                    restrict 192.168.10.0 mask 255.255.255.0 nomodify notrap

    注:如果不对  请在 ignore这个单词后面+v试一下 

        注:192.168.10.0 是自己Linux的IP地址

        --------------------------------------------------------------------

        server 127.127.1.0

        fudge 127.127.1.0 stratum 10

             

    改完配置要重启ntp服务  service ntpd restart

     

     第一台机器启动ntp服务:

     

    第二台ntp同步时间必须关了 因为要和第一台时间同步 都起了不知道和谁同步

     

    和第一台机器同步:

    第三台也是一样的

    其他两台机器要想同步时间的话 那么第一台必须起来一个同步时间的服务

    继续配置 每隔10秒同步一下时间

    注意全路径

    * * * * * /usr/sbin/ntpdate zhangqi
    * * * * * sleep 10: /usr/sbin/ntpdate zhangqi
    * * * * * sleep 20: /usr/sbin/ntpdate zhangqi
    * * * * * sleep 30: /usr/sbin/ntpdate zhangqi
    * * * * * sleep 40: /usr/sbin/ntpdate zhangqi
    * * * * * sleep 50: /usr/sbin/ntpdate zhangqi

    第一台改一下时间:

    第二台一直date最终会和第一台同步时间:

    第三台一直date最终会和第一台同步时间:

    配置历史服务器

    运行一个wc程序

     

    然后 去这个工具  修改配置文件   三台机子的配置文件都改

    <property>
    <name>yarn.log-aggregation-enable</name>
    <!--开启日志聚合 -->
    <value>true</value>
    </property>
    <property>
    <name>yarn.nodemanager.remote-app-log-dir</name>
    <value>/hadoop/logs</value>
    </property>

     

     去 Xshell 里面   将

    stop-yarn.sh ------------------start-yarn.sh--------jps

    打开job进程  :mr-jobhistory-daemon.sh start historyserver------------(这个是关闭job:mr-jobhistory-daemon.sh stop historyserver)

    jsp  查看一下 

     

  • 相关阅读:
    fastclick插件 导致 input[type="date"] 无法触发问题解决方案
    mysql,命令导入导出表结构或数据
    python使用requests库请求网址时,发生requests.exceptions.SSLError 错误解决办法
    Python使用random.shuffle()随机打乱字典排序
    Zend Studio 配置SVN并导入SVN项目
    ZendStudio调试配置(XDebug)
    PHP会话机制---session的基本使用
    PHP统计当前网站的访问人数,访问信息,被多少次访问。
    题解【luoguP1351 NOIp提高组2014 联合权值】
    题解【luogu P2421 bzoj P1407 [NOI2002]荒岛野人】
  • 原文地址:https://www.cnblogs.com/JBLi/p/10691745.html
Copyright © 2011-2022 走看看