zoukankan      html  css  js  c++  java
  • hadoop的Jobid

    在hadoop的任务job中,jobid是标志一个任务的唯一标志,可以用于定位到该job,查询该job相关信息,kill掉该job 。

    jobId是如何生成的呢  ?

    在一般的服务集群上我们通过JobTracker来管理job,该id既是通过JobTracke的getNewJobId()方法得到,具体代码如下:

      public synchronized JobID getNewJobId() throws IOException {
    ensureRunning();
    return new JobID(getTrackerIdentifier(), nextJobId++);
    }

    代码二:

     /**
    * Get the unique identifier (ie. timestamp) of this job tracker start.
    *
    @return a string with a unique identifier
    */
    public String getTrackerIdentifier() {
    return trackerIdentifier;
    }
    trackerIdentifier  和  nextJobId均是JobTracker的内部变量 。
    trackerIdentifier 是固定的JobTracker启动(实例化)时就确定的,代码如下:
    SimpleDateFormat dateFormat = new SimpleDateFormat("yyyyMMddHHmm");
    trackerIdentifier = dateFormat.format(new Date());
    是启动时的时间戳 。
    nextJobId是启动时赋值1,没执行一次该方法则nextJobId值+1 。


    所以job即是:job_
    JobTracker启动时间戳_该JobTracker生成的顺序的一个id ,该id也叫做iobtracker的id 。


    JobID是系统分配给作业的唯一标识符,它的toString结果是job_<jobtrackerID>_<jobNumber>。例子:job_200707121733_0003表明这是jobtracker 200707121733(利用jobtracker的开始时间作为ID)的第3号作业。

    作业分成任务执行,任务号TaskID包含了它所属的作业ID,同时也有任务ID,同时还保持了这是否是一个Map任务(成员变量isMap)。任务号的字符串表示为task_<jobtrackerID>_<jobNumber>_[m|r]_<taskNumber>,如task_200707121733_0003_m_000005表示作业200707121733_0003000005号任务,改任务是一个Map任务,同样,reduce任务中间是_r_.... 。

    一个任务有可能有多个执行(错误恢复/消除Stragglers等),所以必须区分任务的多个执行,这是通过类TaskAttemptID来完成,它在任务号的基础上添加了尝试号。一个任务尝试号的例子是attempt_200707121733_0003_m_000005_0,它是任务task_200707121733_0003_m_000005的第0号尝试。


  • 相关阅读:
    离屏渲染说明文章地址
    苹果文档文章查看地址
    仿照GPUImageMovieOutput写的只支持BGRA32的视频Buffer读取
    拍照摄像拉近摄像头
    消除nonnull警告
    人体姿态识别
    AR资讯文章
    获取图片中对象轮廓并替换白色
    jar包和war包的介绍和区别(转载)
    css美化Div边框的样式实例*(转载)
  • 原文地址:https://www.cnblogs.com/serendipity/p/2143021.html
Copyright © 2011-2022 走看看