zoukankan      html  css  js  c++  java
  • 关于在hue当中调shell脚本的操作(这里的shell 脚本是在shell脚本当中嵌套shell脚本的操作使用source的方式)

    这两天在做数据的导入操作,为了方便数据的导入我们采用sqoop的方式将数据导入。但是在表很多的情况下,在hue当中部署工作流就是一件很麻烦的事情,

    然后想着能不能通过shell脚本调shell脚本的方式实现在一个shell脚本当中就可以实现对多个导入操作脚本的调用。

    操作脚本如下:

    #!/bin/bash
    #sh ./import_com_organization.sh
    source ./import_com_organization.sh
    #. ./import_com_organization.sh  
    echo "success"
    exit 0  
    这三种方式都可以实现对数据的导入操作,我这里是使用oozie的方式实现对脚本的调度操作。下面这个是sqoop的导入脚本,这个可以自己按照自己的要求去编写
    这里需要注意几个问题,在这里被调用的脚本必须和住脚本的路径一直。要不然一直报找不到路径,类似下面的这种找不到路径。这里我试了一下使用决绝路径都是不可以的,一直报路径或者文件存在。这设计真是不合理
    两个文件还必须在同一目录下面。

     下面说一下这种脚本在hue当中部署oozie的具体操作;

    (1)将写好的脚本主脚本和被调用的脚本上传到同一目录下:

    (2)然后部署工作流

     接下来在yarn上面我们能看到oozie启动的laucher和action操作。

     等待执行完成之后。查看结果即可。

    参考文档: https://blog.csdn.net/adshiye/article/details/84311890

  • 相关阅读:
    ruby中nil?, empty? and blank?
    dialog插件demo
    Oauth2.0 QQ&微信&微博实现第三方登陆
    SSM框架应用
    点击<a>标签后禁止页面跳至顶部
    使用Node.js+Hexo+Github搭建个人博客(续)
    软件项目托管平台
    【转载】 Eclipse注释模板设置详解
    Markdown 简介及基础语法
    SpringMVC简介
  • 原文地址:https://www.cnblogs.com/gxgd/p/10221303.html
Copyright © 2011-2022 走看看