zoukankan      html  css  js  c++  java
  • 定时任务框架【Quartz、xxl-job、elastic-job】

    一、项目目前定时任务现状

    1. 使用Linux系统的crontab直接调用Java服务
    2. 优缺点:
    • 优点:部署简单,由linux系统维护相对Java进程维护更加维定
    • 缺点:单机部署,风险大;出问题后排错难度大;需要运维介入成本大
    • 总结:针对目前项目情况,弊大于利

    二、Java主流三大定时任务框架优缺点

    选型时原则:

    少服务器 后期维护方便 增加任务省事 而且快捷 不涉及启停服务

    Quartz

    1. 优点:支持集群部署
    2. 缺点:没有自带的管理界面;调度逻辑和执行任务耦合在一起;维护需要重启服务
    3. 总结:针对目前项目情况,利弊相同

    xxl-job

    1. 优点:支持集群部署;提供运维界面维护成本小;自带错误预警;相对elastic-job来说不需要额外的组件(zookeeper);支持调度策略;支持分片; 故障转移 ;更适合分布式
    2. 缺点:相对Quartz来说需要多部署调度中心
    3. 总结:针对目前项目情况,利大于弊

    elastic-job

    1. 优点:支持集群部署;维护成本小
    2. 缺点:elastic-job需要zookeeper,zookeeper集群高可用至少需要三台服务器
    3. 总结:针对目前项目情况,弊大于利

    小结:

    综合选型原则及三个定时任务框架的优缺点和目前项目的状况,建议选用xxl-job

    三、xxl-job一些特性

    1. xxl-job参考资料: http://www.cnblogs.com/xuxueli/p/5021979.html
    2. 一些实用特性:       

               (1)执行失败可以查看日志

    (2)支持邮件报警

    (3)路由策略支持轮询等策略,可以减轻执行服务器的压力

    (4)轮询时间等参数修改后立即生效

     (5)执行器有问题或新增,快速识别

    (6)调度中心高可用,调度中心可以集群部署(集群部署的机器时钟必须同步),如果调度中心没有做负载在执行器的配置中需要配多个地址,如果调度中心配置负载则执行器配置负载地址即可

    (7)执行器高可用(执行器可以集群部署)

    四、针对项目目前定时任务的选用策略建议

    1. 目前项目的所有定时任务(和运维亚光确认)共8个
    2. 不同定时任务策略的建议

               (1)结算相关

        a.罚息定时任务(wf-job-practical)

          路由策略:轮询

                          阻塞处理:单机串行

                          失败处理:失败告警

         b.结清定时任务(wf-job-settlement)

          路由策略:轮询

                         阻塞处理:单机串行

                         失败处理:失败告警

          (2)  短信相关

         a. 短信发送定时任务(wf-sms-send-job)

          路由策略:轮询

                          阻塞处理:丢弃后续调度

                          失败处理:失败告警

         b.短信业务定时任务(wf-sms-write-job)

          路由策略:轮询

                          阻塞处理:单机串行

                          失败处理:失败告警

        c.短信数据清理定时任务(wf-sms-cleardata-job)

          路由策略:轮询

                          阻塞处理:单机串行

                          失败处理:失败告警

        (3).报表相关

        a.风控定时任务wf-bi-risk-job

          路由策略:轮询

                          阻塞处理:单机串行

                          失败处理:失败告警

        b. wf-bi-market-job

          路由策略:轮询

                          阻塞处理:单机串行

                          失败处理:失败告警

        c.wf-bi-job

           路由策略:轮询

                           阻塞处理:单机串行

                           失败处理:失败告警

    五、项目中加入xxl-job结合

    1. 说明:以下Demo以短信发送服务定时任务(wf-sms-send-job)为例
    2. 建议:执行器根据不同的模块建立工程(既方便统一部署又方便升级维护),比如:结算的定时任务可以组成一个工程;短信定时任务可以组成一个工程等
    3. 项目中增加xxl-job

    (1)在pom中增加依赖

    <dependency>
         <groupId>com.xuxueli</groupId>
         <artifactId>xxl-job-core</artifactId>
         <version>2.3.0</version>
    </dependency>
    
    <dependency>
          <groupId>com.xuxueli</groupId>
          <artifactId>xxl-job-executor-sample-frameless</artifactId>
          <version>2.3.0</version>
    </dependency>
    

    (2)application.yml增加相关配置

    xxl:
      job:
        admin:
          addresses: http://localhost:8888/xxl-job-admin
        executor:
          ip:
          port: 9999
          logpath: /data/applogs/xxl-job/jobhandler
          appname: demo-job
        accessToken:
    

    (3)增加configpackage com.example.demo.xxljob;

    package com.example.demo.xxljob;
    
    import com.xxl.job.core.executor.impl.XxlJobSpringExecutor;
    import org.springframework.beans.factory.annotation.Value;
    import org.springframework.context.annotation.Bean;
    import org.springframework.context.annotation.Configuration;
    
    @Configuration
    public class XxlJobConfig {
    
        @Value("${xxl.job.admin.addresses}")
        private String adminAddresses;
    
        @Value("${xxl.job.executor.appname}")
        private String appName;
    
        @Value("${xxl.job.executor.ip}")
        private String ip;
    
        @Value("${xxl.job.executor.port}")
        private int port;
    
        @Value("${xxl.job.accessToken}")
        private String accessToken;
    
        @Value("${xxl.job.executor.logpath}")
        private String logPath;
    
        private int logRetentionDays=-1;
    
    //    @Bean(initMethod = "start", destroyMethod = "destroy")
        @Bean
        public XxlJobSpringExecutor xxlJobExecutor() {
            System.out.println(">>>>>>>>>>> xxl-job config init.");
            XxlJobSpringExecutor xxlJobSpringExecutor = new XxlJobSpringExecutor();
            xxlJobSpringExecutor.setAdminAddresses(adminAddresses);
            xxlJobSpringExecutor.setAppname(appName);
            xxlJobSpringExecutor.setIp(ip);
            xxlJobSpringExecutor.setPort(port);
            xxlJobSpringExecutor.setAccessToken(accessToken);
            xxlJobSpringExecutor.setLogPath(logPath);
            xxlJobSpringExecutor.setLogRetentionDays(logRetentionDays);
    
            return xxlJobSpringExecutor;
        }
    }
    

      

    (4)增加执行器

    package com.example.demo.xxljob;
    
    import com.xxl.job.core.biz.model.ReturnT;
    import com.xxl.job.core.handler.annotation.XxlJob;
    import com.xxl.job.core.log.XxlJobLogger;
    import com.xxl.job.executor.sample.frameless.jobhandler.SampleXxlJob;
    import org.slf4j.Logger;
    import org.slf4j.LoggerFactory;
    import org.springframework.stereotype.Component;
    
    
    /**
     * XxlJob开发示例
     */
    @Component
    public class SampleXxlJobPools {
        private static Logger logger = LoggerFactory.getLogger(SampleXxlJob.class);
    
        @XxlJob(value = "testJobHandler", init = "init", destroy = "destroy")
        public ReturnT<String> demoJobHandler(String param) throws Exception {
            XxlJobLogger.log("执行定时任务");
            return ReturnT.SUCCESS;
        }
    
        public void init() {
            logger.info("testJobHandler init");
        }
    
        public void destroy() {
            logger.info("testJobHandler destory");
        }
    }
    

      启动项目

     查看任务调度中心-执行器管理-OnLine 机器地址,已在线说明运行成功 

  • 相关阅读:
    Leetcode字符串算法
    Leetcode基础算法结构-目录结构
    python日志-loguru日志管理
    FastApi
    python-hashlib
    excel数据操作
    yagmail自动发邮件
    python-sys
    集合
    文件操作
  • 原文地址:https://www.cnblogs.com/wangdahui/p/14459790.html
Copyright © 2011-2022 走看看