zoukankan      html  css  js  c++  java
  • hadoop环境搭建之分布式的建立5

    一、说在前面

      今天完成了完全分布式布局的搭建,并写了用来看分布式运行状况的脚本。

    二、配置

    =====================历史服务器在 mapred-site.xml设置=====================
    <!-- 历史服务器端地址 -->
            <property>
                    <name>mapreduce.jobhistory.address</name>q
                    <value>hadoop102:10020</value>
            </property>
            <!-- 历史服务器web端地址 -->
            <property>
                    <name>mapreduce.jobhistory.webapp.address</name>
                    <value>hadoop102:19888</value>
            </property>
    
    
    
    然后分发
    打开历史服务器,历史记录
    =====================开启日志聚集 yarn-site.xml设置==============
    
    <!-- 开启日志聚集功能 -->
            <property>
                    <name>yarn.log-aggregation-enable</name>
                    <value>true</value>
            </property>
            <!-- 查看日志的路径 -->
            <property>
                    <name>yarn.log.server.url</name>
                    <value>http://hadoop102:19888/jophistory/logs</value>
            </property>
            <!-- 日志存储的时间 -->
            <property>
                    <name>yarn.log-aggregation.retain-seconds</name>
                    <value>604800</value>
            </property>
    开启日志聚集

    三、脚本

    =====================myjps.sh========================================
    
    #!/bin/bash
    for i in hadoop102 hadoop103 hadoop104
    do
            echo "====================== $i JPS ======================"
            ssh $i /opt/module/jdk1.8.0_212/bin/jps
    done
    myjps.sh
  • 相关阅读:
    开通了
    A computer hardware platform abstraction
    脑机接口入门概览
    JDK自带VM分析工具jps,jstat,jmap,jconsole
    泛型里的super和extend
    动态规划
    用二分法查找的套路(一)
    A computer hardware platform abstraction
    CentOS7安装JDK1.8
    CentOS7如何修改hostname
  • 原文地址:https://www.cnblogs.com/suanai/p/14236098.html
Copyright © 2011-2022 走看看