zoukankan      html  css  js  c++  java
  • 关于在hue当中通过oozie提交各类文件的总结(shell脚本,hive ,mr)

    在oozie上面提交作业报错的解决办法:

    (1)   在oozie上将写好的好sqoop脚本添加上来的时候,这个时候报错。说一直没有权限:

    解决方法:

    (1)   首先想到的时去修改这个文件的权限。然后修改之后还是不行。然后尝试各种各样的问题(hue采用的是4.1.0,oozie采用的是4.2.0,sqoop采用的是1.4.6)

    (2)   然后就找到yarn的这个配置文件。然后这个文件是存放文件的输出中间结果。一般情况下是配置多个目录。减少磁盘的io。

    (3)   最后直接指定这个文件。最后解释是oozie的运行时会随机选择一台机器运行shell脚本。因此此时要保证每台机器上都有正常运行的shell脚本。和相应的环境相对应的。

    (4)   最后的解决办法是指定这个文件在提交任务的时候。

    此时的xml文件当中出现了这个加载进去的文件。

    但是在加上这个文件之后还是不能执行还是报错。一直显示主类退出异常:

    问题还是没有得到解决:

    最后在添加文件的时候还要执行oozie的执行的时候Hadoop用户。这样他才能找到环境当中的Hadoop用户。HADOOP_USER_NAME=${wf:user()}

    至此oozie调用shell脚本执行成功了。

    总结:在整个提交文件的过程中我们要保证文件oozie能够访问到我们提交的文件。而且还有就是文件的要访问的用户。而不是让ooize自己去系统上面找文件。这样可以保证文件被获取到。

    (1)   除了执行shell脚本我们还可以直接通过命令行执行。但是这个时候还是会报错。

    解决方法: 在文件当中加入mysql的驱动包。

    (1)   在提交sql的时候。我们需要注意的问题:

    在hive1当中我们想要执行某个sql的时候需要加上hive-site.xml的配置文件。这个时候oozie才能加载他的驱动。正常运行程序。

    (1)   在hive2当中不用指定相关的配置文件。而是直接可以对写的sql脚本进行加载。直接完成文件的加载执行。(文本的格式一定要规范)。

  • 相关阅读:
    Unity中Avatar换装实现
    Unity 导出NavMesh (可行走区域判定) 数据给服务器使用
    Unity发布安卓Splash Image适应手机、平板
    什么是展uv
    三合一收款二维码
    牛顿的八字养生经
    牛顿
    [家里蹲大学数学杂志]第412期积分与极限
    Newton's Dark Secrets《牛顿探索》
    英国《物理世界》杂志评选出世界十大物理学家
  • 原文地址:https://www.cnblogs.com/gxgd/p/8603556.html
Copyright © 2011-2022 走看看