zoukankan      html  css  js  c++  java
  • Azkaban使用

    dependency

    1 创建一个带dependency的作业 关键点: dependencies first.job type=command command=echo "first" second.job type=command dependencies=first command=echo "second" 将first.job和second.job一起压缩,创建项目,上传,执行,查看结果

    hdfs

    操作HDFS文件系统 hdfs.job type=command command=/Users/hadoop/app/hadoop/bin/hadoop fs -ls / 压缩,上传,执行,看结果,在web UI端的8088端口,查看mapreduce进度,及详细信息

    MapReduce

    mr.job: type=command command=/Users/hadoop/app/hadoop/bin/hadoop jar /Users/hadoop/app/hadoop/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.6.0-cdh5.7.0.jar wordcount hdfs://Master:8020/ruozeinput.txt hdfs://Master:8020/az_out/wc 压缩成mr.zip,上传,执行,查看结果

    hive

    hdfs.job: type=command command=/Users/hadoop/app/hive/bin/hive -f 'test.sql'
    test.sql: select deptno,count(1) from emp group by deptno;

    压缩成 hive_az.zip文件,上传,执行,查看结果

  • 相关阅读:
    软件需求分析
    行高line-height 和vertical-align
    python中的集合基础知识
    python中字典常用的函数和用法
    python中字符串常用的函数
    day-75CRM
    day-74CRM
    day73CRM
    day-72Django源码解析
    day-71Django补充
  • 原文地址:https://www.cnblogs.com/suixingc/p/azkaban-ju-ti-shi-yong--dependency-hdfs-mr-hive.html
Copyright © 2011-2022 走看看