zoukankan      html  css  js  c++  java
  • hadoop伪分布式之配置日志聚集

    日志聚集概念:应用运行完成之后,将程序运行信息上传到HDFS系统上

    注意:开启日志聚集功能:需要重启NodeManager、ResourceManager和HistoryManager

    首先是:

    关闭历史服务器:

    sbin/mr-jobhistory-daemon.sh stop historyserver 

    sbin/yarn-daemon.sh stop resourcemanager

    sbin/yarn-daemon.sh stop nodemanager

    1、配置yarn-site.xml

    <!--日志聚集功能-->
    <property>
        <name>yarn.log-aggregation-enable</name>
        <value>true</value>
    </property>
    <!--日志保留时间设置为7天-->
    <property>
        <name>yarn.log-aggregation-retair-seconds</name>
        <value>604800</value>
    </property>

    2、重启NodeManager、ResourceManager和HistoryManager

    3、删除掉之前运行的output文件

    bin/hdfs dfs -rm -r /user/gong/output

    重新运行wordcount:bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.9.2.jar wordcount /user/gong/input /user/gong/output

    4、查看

    此时再点击logs就会发现有日志啦:

  • 相关阅读:
    Linux管理用户和组
    const,static,volatile关键字的作用
    Linux 常用命令
    sizeof与strlen的区别
    不使用库函数的字符串处理
    Linux 编译命令参数
    Linux环境变量PATH
    c++ 使用Redis
    二分查找法
    php实现双色球算法
  • 原文地址:https://www.cnblogs.com/xiximayou/p/12420549.html
Copyright © 2011-2022 走看看