zoukankan      html  css  js  c++  java
  • HIVE-如何查看执行日志

    HIVE既然是运行在hadoop上,最后又被翻译为MapReduce程序,通过yarn来执行。所以我们如果想解决HIVE中出现的错误,需要分成几个过程

    1. HIVE自身翻译成为MR之前的解析错误
    2. Hadoop文件系统的错误
    3. YARN调度过程中的错误

    2,3过程中的错误,请参考hadoop相关的教程,这里只是提醒大家思考的时候需要考虑到这两个方面的原因。搞清楚哪一个过程出问题之后采取进一步分析。

    1.HIVE默认log文件保存的地方

    /tmp/<user.name>文件夹的hive.log文件中,全路径就是/tmp/当前用户名/hive.log。

    2.如何定位当前job的log信息

    每个job执行后都会产生Query ID,在hive.log中搜索关键字。确认时间一致后,之后的log就是当前job的信息。

    Query ID = root_20171108160217_d51b321f-1902-4353-ae5b-2ebe5227f82f

    3,如何查看更多的错误信息

    在默认的日志级别情况下,是不能将DEBUG信息输出,这样一来出现的各种详细的错误信息都是不能数错的。但是我们可以通过以下两种方式修改log4j输出的日志级别,从而利用这些调试日志进行错误定位,具体做法如下:

      $ hive --hiveconf hive.root.logger=DEBUG,console (hive启动时用该命令替代)

    或者在${HIVE_HOME}/conf/hive-log4j.properties文件中找到hive.root.logger属性,并将其修改为下面的设置

    hive.root.logger=DEBUG,console

    具体如何查询,就看自己了。

  • 相关阅读:
    Collections类
    delphi Tdxribbon 设置背景和skin 皮肤
    模拟一个带背景的 TPanel
    将控件画成圆角的效果(Delphi)
    Delphi自写组件:可设置颜色的按钮
    delphi StringGrid 表格的复制粘贴
    学习人工智能
    python 环境搭建和Spyder的安装应用
    python 廖雪峰的官方网站
    spyder 安装
  • 原文地址:https://www.cnblogs.com/kouryoushine/p/7805657.html
Copyright © 2011-2022 走看看