zoukankan      html  css  js  c++  java
  • oozie 工作流调试及报错

    1.  oozie 调用sql文件的workflow 错误汇总:

    1)hive2server密码错误。(有时设置可以无密码,有时需要登陆密码,有时是单独的hive2server密码)

    Connecting to jdbc:hive2://spark-02:10000/default
    Error: Could not open client transport with JDBC Uri: jdbc:hive2://spark-02:10000/default: Peer indicated failure: Error validating the login (state=08S01,code=0)
    No current connection
    Error: Could not open client transport with JDBC Uri: jdbc:hive2://spark-02:10000/default: Peer indicated failure: Error validating the login (state=08S01,code=0)
    Intercepting System.exit(2)
    Failing Oozie Launcher, Main class [org.apache.oozie.action.hadoop.Hive2Main], exit code [2]


    2)空格无法识别。

    INFO : Table sales_analysis.sa_item_sku_day_sales stats: [numFiles=1, numRows=0, totalSize=98, rawDataSize=0]
    Error: Error while compiling statement: FAILED: ParseException line 2:8 cannot recognize input near ',' 'dp_idstring' ',' in column type (state=42000,code=40000)
    Closing: 0: jdbc:hive2://spark-02:10000/default
    Intercepting System.exit(2)
    Failing Oozie Launcher, Main class [org.apache.oozie.action.hadoop.Hive2Main], exit code [2]
    log4j:WARN No appenders could be found for logger (org.apache.hadoop.mapreduce.v2.app.MRAppMaster).
    log4j:WARN Please initialize the log4j system properly.
    log4j:WARN See http://logging.apache.org/log4j/1.2/faq.html#noconfig for more info.

    原因:
    dp_id与string之间的空格无法识别。
    所以多加了几个空格,query执行正常。

    3)脚本开头的乱码字符无法识别。

    可能是脚本出现了乱码,复制到ue等编辑器下,删除开头试试。

    2.  oozie 无法调用impala sql

    原因貌似是,无法访问文件路径,可能是要文件放在oozie 主机上。

    解决办法:

    1)把简单的impala sql 放在impala的主机上,然后crontab 调用

    2)复杂的impala sql,可以把源表和结果表存成 parquet表,然后hive sql执行后,进行元数据同步

    3)kudu表只能用 impala 读取到parquet表后,hive才能访问数据

    刷新元数据: invalidate metadata; refresh + 表名

    3. oozie 调用shell脚本

     sync impala脚本内容

    #!/bin/bash
    export PYTHON_EGG_CACHE=./myeggs
    /usr/bin/impala-shell -q 'invalidate metadata'
  • 相关阅读:
    XP系统开机慢和减少开机滚动条的解决方法
    细说A标签的样式
    【部分转载】安装MySQL,visual studio tools for office 2010 runtime通不过
    将GB2312转码成UTF8
    ubuntu/vmware 拷贝后网路不通
    bash manual
    跟我一起写 Makefile
    我的vi 启动配置文件
    ubuntu安装samba
    upnp
  • 原文地址:https://www.cnblogs.com/skyEva/p/7551750.html
Copyright © 2011-2022 走看看