zoukankan      html  css  js  c++  java
  • HUE备份已定义好的workflow

    HUE备份已定义好的workflow

    最近使用HUE定义了一个很复杂的调度,但是调度执行到一半就开始报错....  这个可真让人头疼呀,

    从头开始跑数据吧 太费时间了,而且会容易造成Hive库总数据冗余

    在workflow将已经跑完的部分删掉吧 又舍不得,万一下次整个调度又都出错了 又要重新配置 多累呀

    慢慢摸索后,发现原来使用HUE定义的workflow是可以被copy的,开心!!!

    >>>错误信息

    出错调度信息如下:(1,2,3成功,4开始报错及4以后的脚本信息都未被正常执行)

    >>>处理方案

    1.登录HUE,点击下图红色标记位置,进入菜单栏

    2.点击Documents

    3. 看到我们定义好的workflow信息

    4. 在需要复制的workflow那一行 右击鼠标(单击),选择下图标记的右上角位置,再点击 copy

    5.选择了复制后,再重新进入Documents节点,则会看到复制的workflow啦

     6.点击复制好的workflow,可以发现内容与原来的一模一样,这样子我们就可以直接删除已经执行成功了的配置了,调整出错脚本后接下来重新跑出错脚本及以后数据。(因为保留了最全的workflow.这个只是我们这次需要执行完的workflow. 下次也不用重新配置了)

    处理结果:将已成功执行的脚本信息去掉,留下的剩下的三个未成功执行的脚本编辑为并行(确定脚本之间没有联系,不需要定义先后顺序才可以改为并行哦,不然就按照顺序执行),这样子就方便很多啦啦啦啦~

    结果如下图:

  • 相关阅读:
    训练深度学习网络时候,出现Nan 或者 震荡
    Jupyter Notebook 的快捷键
    pyspark RandomForestRegressor 随机森林回归
    深度学习图像标注工具VGG Image Annotator (VIA)使用教程
    python 中 with 用法
    python 报错 SyntaxError: Non-ASCII character
    YOLO 详解
    Spark与Pandas中DataFrame对比
    利用WGET下载文件,并保存到指定目录
    http 三次握手
  • 原文地址:https://www.cnblogs.com/DFX339/p/11674354.html
Copyright © 2011-2022 走看看