zoukankan      html  css  js  c++  java
  • Spring线程池(同步、异步)

    一、spring异步线程池类图

     

     

    二、简单介绍

    TaskExecutor:Spring异步线程池的接口类,其实质是java.util.concurrent.Executor。

    以下是官方已经实现的全部7个TaskExecuter。Spring宣称对于任何场景,这些TaskExecuter完全够用了:

    名字特点
    SimpleAsyncTaskExecutor 每次请求新开线程,没有最大线程数设置.不是真的线程池,这个类不重用线程,每次调用都会创建一个新的线程。
    SyncTaskExecutor 不是异步的线程.同步可以用SyncTaskExecutor,但这个可以说不算一个线程池,因为还在原线程执行。这个类没有实现异步调用,只是一个同步操作。
    ConcurrentTaskExecutor Executor的适配类,不推荐使用。如果ThreadPoolTaskExecutor不满足要求时,才用考虑使用这个类。
    SimpleThreadPoolTaskExecutor 监听Spring’s lifecycle callbacks,并且可以和Quartz的Component兼容.是Quartz的SimpleThreadPool的类。线程池同时被quartz和非quartz使用,才需要使用此类。
    ThreadPoolTaskExecutor 最常用。要求jdk版本大于等于5。可以在程序而不是xml里修改线程池的配置.其实质是对java.util.concurrent.ThreadPoolExecutor的包装。
    TimerTaskExecutor  
    WorkManagerTaskExecutor

    三、Spring的同步执行器

    1、SyncTaskExecutor:同步可以用SyncTaskExecutor,但这个可以说不算一个线程池,因为还在原线程执行。这个类没有实现异步调用,只是一个同步操作,一般不会用。

    2、可以用ThreadPoolTaskExecutor结合FutureTask做到同步。

    3、SyncTaskExecutor与ThreadPoolTaskExecutor区别:前者是同步执行器,执行任务同步,后者是线程池,执行任务异步。

    四、Spring的异步执行器

    异步执行用户任务的SimpleAsyncTaskExecutor。每次执行客户提交给它的任务时,它会启动新的线程,并允许开发者控制并发线程的上限(concurrencyLimit),从而起到一定的资源节流作用。默认时,concurrencyLimit取值为-1,即不启用资源节流。

    SimpleAsyncTaskExecutor
    <bean id="simpleAsyncTaskExecutor"   
        class="org.springframework.core.task.SimpleAsyncTaskExecutor">  
        <property name="daemon" value="true"/>  
        <property name="concurrencyLimit" value="2"/>  
        <property name="threadNamePrefix" value="simpleAsyncTaskExecutor"/>
    </bean>  

    主要实现:

    • 支持限流处理:ConcurrencyThrottleSupport和ConcurrencyThrottleInterceptor实现。
    • 异步注册线程返回结果:ListenableFutureTask主要是对JDK的FutureTask进行封装,覆盖了原始的run方法,在run中封装可以获取到线程的返回值。 
    public class SimpleAsyncTaskExecutor extends CustomizableThreadCreator implements AsyncListenableTaskExecutor, Serializable {
        //限流主要实现
        private final SimpleAsyncTaskExecutor.ConcurrencyThrottleAdapter concurrencyThrottle = new SimpleAsyncTaskExecutor.ConcurrencyThrottleAdapter();
        private ThreadFactory threadFactory;
        //设置最大的线程数量
        public void setConcurrencyLimit(int concurrencyLimit) {
                this.concurrencyThrottle.setConcurrencyLimit(concurrencyLimit);
        }
        //是否开启了限流 限流数量大于0?
        public final boolean isThrottleActive() {
                return this.concurrencyThrottle.isThrottleActive();
        }
        //1.是否开启限流 否则不开启限流处理
        //2.执行开始之前检测是否可以满足要求 当前数量++
        //3.开启限流将执行的Runable进行封装,执行完成调用final方法 当前数量--
        public void execute(Runnable task, long startTimeout) {
                Assert.notNull(task, "Runnable must not be null");
                if(this.isThrottleActive() && startTimeout > 0L) {
                    this.concurrencyThrottle.beforeAccess();
                    this.doExecute(new SimpleAsyncTaskExecutor.ConcurrencyThrottlingRunnable(task));
                } else {
                    this.doExecute(task);
                }
          }
         //异步提交有返回值
        public Future<?> submit(Runnable task) {
              FutureTask future = new FutureTask(task, (Object)null);
              this.execute(future, 9223372036854775807L);
              return future;
          }
    
          public <T> Future<T> submit(Callable<T> task) {
              FutureTask future = new FutureTask(task);
              this.execute(future, 9223372036854775807L);
              return future;
          }
    
          public ListenableFuture<?> submitListenable(Runnable task) {
              ListenableFutureTask future = new ListenableFutureTask(task, (Object)null);
              this.execute(future, 9223372036854775807L);
              return future;
          }
    
          public <T> ListenableFuture<T> submitListenable(Callable<T> task) {
              ListenableFutureTask future = new ListenableFutureTask(task);
              this.execute(future, 9223372036854775807L);
              return future;
          }
          //拥有工厂?没有的话调用父类可以设置各种参数的创建线程
          protected void doExecute(Runnable task) {
              Thread thread = this.threadFactory != null?this.threadFactory.newThread(task):this.createThread(task);
              thread.start();
          }
          //父类的方法,方便配置线程,方便xml设置线程参数CustomizableThreadCreator 
          public Thread createThread(Runnable runnable) {
                Thread thread = new Thread(getThreadGroup(), runnable, nextThreadName());
                thread.setPriority(getThreadPriority());
                thread.setDaemon(isDaemon());
                return thread;
            }
    
    
     }

    实现类(ListenableFutureTask)可有返回值,可被监听的,注册监听,这里可以注册监听者放在一个单独的类中去处理,很好的分配工作ListenableFutureCallbackRegistry。

    public class ListenableFutureTask<T> extends FutureTask<T> implements ListenableFuture<T> {
        private final ListenableFutureCallbackRegistry<T> callbacks = new ListenableFutureCallbackRegistry();
    
        public ListenableFutureTask(Callable<T> callable) {
            super(callable);
        }
    
        public ListenableFutureTask(Runnable runnable, T result) {
            super(runnable, result);
        }
    
        public void addCallback(ListenableFutureCallback<? super T> callback) {
            this.callbacks.addCallback(callback);
        }
    
        public void addCallback(SuccessCallback<? super T> successCallback, FailureCallback failureCallback) {
            this.callbacks.addSuccessCallback(successCallback);
            this.callbacks.addFailureCallback(failureCallback);
        }
        //FutureTask执行完成后的回调,调用监听接口的实现类的方法
        protected final void done() {
            Object cause;
            try {
                Object ex = this.get();
                //回调实现类的方法
                this.callbacks.success(ex);
                return;
            } catch (InterruptedException var3) {
                Thread.currentThread().interrupt();
                return;
            } catch (ExecutionException var4) {
                cause = var4.getCause();
                if(cause == null) {
                    cause = var4;
                }
            } catch (Throwable var5) {
                cause = var5;
            }
    
            this.callbacks.failure((Throwable)cause);
        }
    } 

    五、使用ThreadPoolTaskExecutor

    乍一看,跟ThreadPoolExecutor很像。

    ThreadPoolTaskExecutor是spring core包中的,而ThreadPoolExecutor是JDK中的JUC。ThreadPoolTaskExecutor是对ThreadPoolExecutor进行了封装处理。

    ThreadPoolExecutor和ThreadPoolTaskExecutor的类结构

     

    ThreadPoolTaskExecutor 源码及配置参数
    public class ThreadPoolTaskExecutor extends ExecutorConfigurationSupport implements SchedulingTaskExecutor {
        private final Object poolSizeMonitor = new Object();
        private int corePoolSize = 1;
        private int maxPoolSize = 2147483647;
        private int keepAliveSeconds = 60;
        private boolean allowCoreThreadTimeOut = false;
        private int queueCapacity = 2147483647;
        private ThreadPoolExecutor threadPoolExecutor;   //这里就用到了ThreadPoolExecutor

    这是ThreadPoolTaskExecutor用来初始化threadPoolExecutor的方法,BlockingQueue是一个阻塞队列,这个我们先不管。由于ThreadPoolTaskExecutor的实现方式完全是使用threadPoolExecutor进行实现,我们需要知道这个threadPoolExecutor的一些参数。

    public ThreadPoolExecutor(int corePoolSize,
                                  int maximumPoolSize,
                                  long keepAliveTime,
                                  TimeUnit unit,
                                  BlockingQueue<Runnable> workQueue,
                                  ThreadFactory threadFactory,
                                  RejectedExecutionHandler handler) {
            if (corePoolSize < 0 ||
                maximumPoolSize <= 0 ||
                maximumPoolSize < corePoolSize ||
                keepAliveTime < 0)
                throw new IllegalArgumentException();
            if (workQueue == null || threadFactory == null || handler == null)
                throw new NullPointerException();
            this.corePoolSize = corePoolSize;
            this.maximumPoolSize = maximumPoolSize;
            this.workQueue = workQueue;
            this.keepAliveTime = unit.toNanos(keepAliveTime);
            this.threadFactory = threadFactory;
            this.handler = handler;
        }
    配置参数:
    • corePoolSize:线程池维护线程的最小数量。
    • maximumPoolSize:线程池维护线程的最大数量。
    • keepAliveTime:空闲线程的存活时间。
    • TimeUnit unit:时间单位,现有纳秒,微秒,毫秒,秒枚举值。
    • BlockingQueue<Runnable> workQueue:持有等待执行的任务队列。
    • RejectedExecutionHandler handler:用来拒绝一个任务的执行,有两种情况会发生这种情况。   
      • 一是在execute方法中若addIfUnderMaximumPoolSize(command)为false,即线程池已经饱和;    
      • 二是在execute方法中, 发现runState!=RUNNING || poolSize == 0,即已经shutdown,就调用ensureQueuedTaskHandled(Runnable command),在该方法中有可能调用reject。
    ThreadPoolExecutor池子的处理流程如下:
    1. 当池子大小小于corePoolSize就新建线程,并处理请求。
    2. 当池子大小等于corePoolSize,把请求放入workQueue中,池子里的空闲线程就去从workQueue中取任务并处理。
    3. 当workQueue放不下新入的任务时,新建线程入池,并处理请求,如果池子大小撑到了maximumPoolSize就用RejectedExecutionHandler来做拒绝处理。
    4. 另外,当池子的线程数大于corePoolSize的时候,多余的线程会等待keepAliveTime长的时间,如果无请求可处理就自行销毁。

    其会优先创建  CorePoolSize 线程, 当继续增加线程时,先放入Queue中,当 CorePoolSiz  和 Queue 都满的时候,就增加创建新线程,当线程达到MaxPoolSize的时候,就会抛出错 误 org.springframework.core.task.TaskRejectedException

    另外MaxPoolSize的设定如果比系统支持的线程数还要大时,会抛出java.lang.OutOfMemoryError: unable to create new native thread 异常。

    Reject策略预定义有四种: 
    • ThreadPoolExecutor.AbortPolicy策略,是默认的策略,处理程序遭到拒绝将抛出运行时 RejectedExecutionException。 
    • ThreadPoolExecutor.CallerRunsPolicy策略 ,调用者的线程会执行该任务,如果执行器已关闭,则丢弃。
    • ThreadPoolExecutor.DiscardPolicy策略,不能执行的任务将被丢弃。
    • ThreadPoolExecutor.DiscardOldestPolicy策略,如果执行程序尚未关闭,则位于工作队列头部的任务将被删除,然后重试执行程序(如果再次失败,则重复此过程)。
    线程池创建示例
    ThreadPoolTaskExecutor executor = new ThreadPoolTaskExecutor();
    // 设置核心线程数,它是可以同时被执行的线程数量
    executor.setCorePoolSize(2);
    // 设置最大线程数,缓冲队列满了之后会申请超过核心线程数的线程
    executor.setMaxPoolSize(4);
    // 设置缓冲队列容量,在执行任务之前用于保存任务
    executor.setQueueCapacity(1000);
    // 设置线程生存时间(秒),当超过了核心线程出之外的线程在生存时间到达之后会被销毁
    executor.setKeepAliveSeconds(1);
    // 设置线程名称前缀
    executor.setThreadNamePrefix("xxxx-");
    // 设置拒绝策略
    executor.setRejectedExecutionHandler(new ThreadPoolExecutor.AbortPolicy());
    // 初始化
    executor.initialize();

    六、关于Spring的Async

    对于异步方法调用,从Spring3开始提供了@Async注解,该注解可以被标注在方法上,以便异步地调用该方法。调用者将在调用时立即返回,方法的实际执行将提交给Spring TaskExecutor的任务中,由指定的线程池中的线程执行。

    在项目应用中,@Async调用线程池,推荐使用自定义线程池的模式。

    前提是要添加@EnableAsync注解开启异步调用。

    @Async应用默认线程池

    Spring应用默认的线程池,指在@Async注解在使用时,不指定线程池的名称。查看源码,@Async的默认线程池为SimpleAsyncTaskExecutor。

    无返回值调用

    基于@Async无返回值调用,直接在使用类,使用方法(建议在使用方法)上,加上注解。若需要抛出异常,需手动new一个异常抛出。

    /**
         * 带参数的异步调用 异步方法可以传入参数
         *  对于返回值是void,异常会被AsyncUncaughtExceptionHandler处理掉
         * @param s
         */
        @Async
        public void asyncInvokeWithException(String s) {
            log.info("asyncInvokeWithParameter, parementer={}", s);
            throw new IllegalArgumentException(s);
        }
    有返回值Future调用
    /**
         * 异常调用返回Future
         *  对于返回值是Future,不会被AsyncUncaughtExceptionHandler处理,需要我们在方法中捕获异常并处理
         *  或者在调用方在调用Futrue.get时捕获异常进行处理
         *
         * @param i
         * @return
         */
        @Async
        public Future<String> asyncInvokeReturnFuture(int i) {
            log.info("asyncInvokeReturnFuture, parementer={}", i);
            Future<String> future;
            try {
                Thread.sleep(1000 * 1);
                future = new AsyncResult<String>("success:" + i);
                throw new IllegalArgumentException("a");
            } catch (InterruptedException e) {
                future = new AsyncResult<String>("error");
            } catch(IllegalArgumentException e){
                future = new AsyncResult<String>("error-IllegalArgumentException");
            }
            return future;
        }
    有返回值CompletableFuture调用

    CompletableFuture 并不使用@Async注解,可达到调用系统线程池处理业务的功能。

    JDK5新增了Future接口,用于描述一个异步计算的结果。虽然 Future 以及相关使用方法提供了异步执行任务的能力,但是对于结果的获取却是很不方便,只能通过阻塞或者轮询的方式得到任务的结果。阻塞的方式显然和我们的异步编程的初衷相违背,轮询的方式又会耗费无谓的 CPU 资源,而且也不能及时地得到计算结果。

    • CompletionStage代表异步计算过程中的某一个阶段,一个阶段完成以后可能会触发另外一个阶段
    • 一个阶段的计算执行可以是一个Function,Consumer或者Runnable。比如:stage.thenApply(x -> square(x)).thenAccept(x -> System.out.print(x)).thenRun(() -> System.out.println())
    • 一个阶段的执行可能是被单个阶段的完成触发,也可能是由多个阶段一起触发:在Java8中,CompletableFuture提供了非常强大的Future的扩展功能,可以帮助我们简化异步编程的复杂性,并且提供了函数式编程的能力,可以通过回调的方式处理计算结果,也提供了转换和组合 CompletableFuture 的方法。
    • 它可能代表一个明确完成的Future,也有可能代表一个完成阶段( CompletionStage ),它支持在计算完成以后触发一些函数或执行某些动作。
    • 它实现了Future和CompletionStage接口
    /**
    * 数据查询线程池
    */
    private static final ThreadPoolExecutor SELECT_POOL_EXECUTOR = new ThreadPoolExecutor(10, 20, 5000,
        TimeUnit.MILLISECONDS, new LinkedBlockingQueue<>(1024), new ThreadFactoryBuilder().setNameFormat("selectThreadPoolExecutor-%d").build());
    
    // tradeMapper.countTradeLog(tradeSearchBean)方法表示,获取数量,返回值为int
    // 获取总条数
    CompletableFuture<Integer> countFuture = CompletableFuture
            .supplyAsync(() -> tradeMapper.countTradeLog(tradeSearchBean), SELECT_POOL_EXECUTOR);
    // 同步阻塞
    CompletableFuture.allOf(countFuture).join();
    // 获取结果
    int count = countFuture.get();
    默认线程池的弊端

    在线程池应用中,参考阿里巴巴java开发规范:线程池不允许使用Executors去创建,不允许使用系统默认的线程池,推荐通过ThreadPoolExecutor的方式,这样的处理方式让开发的工程师更加明确线程池的运行规则,规避资源耗尽的风险。Executors各个方法的弊端:

    • newFixedThreadPool和newSingleThreadExecutor:主要问题是堆积的请求处理队列可能会耗费非常大的内存,甚至OOM。
    • newCachedThreadPool和newScheduledThreadPool:要问题是线程数最大数是Integer.MAX_VALUE,可能会创建数量非常多的线程,甚至OOM。

    @Async默认异步配置使用的是SimpleAsyncTaskExecutor,该线程池默认来一个任务创建一个线程,若系统中不断的创建线程,最终会导致系统占用内存过高,引发OutOfMemoryError错误。针对线程创建问题,SimpleAsyncTaskExecutor提供了限流机制,通过concurrencyLimit属性来控制开关,当concurrencyLimit>=0时开启限流机制,默认关闭限流机制即concurrencyLimit=-1,当关闭情况下,会不断创建新的线程来处理任务。基于默认配置,SimpleAsyncTaskExecutor并不是严格意义的线程池,达不到线程复用的功能。

    @Async应用自定义线程池

    自定义线程池,可对系统中线程池更加细粒度的控制,方便调整线程池大小配置,线程执行异常控制和处理。在设置系统自定义线程池代替默认线程池时,虽可通过多种模式设置,但替换默认线程池最终产生的线程池有且只能设置一个(不能设置多个类继承AsyncConfigurer)。自定义线程池有如下模式:

    • 重新实现接口AsyncConfigurer
    • 继承AsyncConfigurerSupport
    • 配置由自定义的TaskExecutor替代内置的任务执行器

    通过查看Spring源码关于@Async的默认调用规则,会优先查询源码中实现AsyncConfigurer这个接口的类,实现这个接口的类为AsyncConfigurerSupport。但默认配置的线程池和异步处理方法均为空,所以,无论是继承或者重新实现接口,都需指定一个线程池。且重新实现 public Executor getAsyncExecutor()方法。

    实现接口AsyncConfigurer
    @Configuration
    public class AsyncConfiguration implements AsyncConfigurer {
        @Bean("kingAsyncExecutor")
        public ThreadPoolTaskExecutor executor() {
            ThreadPoolTaskExecutor executor = new ThreadPoolTaskExecutor();
            int corePoolSize = 10;
            executor.setCorePoolSize(corePoolSize);
            int maxPoolSize = 50;
            executor.setMaxPoolSize(maxPoolSize);
            int queueCapacity = 10;
            executor.setQueueCapacity(queueCapacity);
            executor.setRejectedExecutionHandler(new ThreadPoolExecutor.CallerRunsPolicy());
            String threadNamePrefix = "kingDeeAsyncExecutor-";
            executor.setThreadNamePrefix(threadNamePrefix);
            executor.setWaitForTasksToCompleteOnShutdown(true);
            // 使用自定义的跨线程的请求级别线程工厂类
            RequestContextThreadFactory threadFactory = RequestContextThreadFactory.getDefault();
            executor.setThreadFactory(threadFactory);
            int awaitTerminationSeconds = 5;
            executor.setAwaitTerminationSeconds(awaitTerminationSeconds);
            executor.initialize();
            return executor;
        }
    
        @Override
        public Executor getAsyncExecutor() {
            return executor();
        }
    
        @Override
        public AsyncUncaughtExceptionHandler getAsyncUncaughtExceptionHandler() {
            return (ex, method, params) -> ErrorLogger.getInstance().log(String.format("执行异步任务'%s'", method), ex);
        }
    }
    继承AsyncConfigurerSupport
    @Configuration
    @EnableAsync
    class SpringAsyncConfigurer extends AsyncConfigurerSupport {
    
        @Bean
        public ThreadPoolTaskExecutor asyncExecutor() {
            ThreadPoolTaskExecutor threadPool = new ThreadPoolTaskExecutor();
            threadPool.setCorePoolSize(3);
            threadPool.setMaxPoolSize(3);
            threadPool.setWaitForTasksToCompleteOnShutdown(true);
            threadPool.setAwaitTerminationSeconds(60 * 15);
            threadPool.initialize();
            return threadPool;
        }
    
        @Override
        public Executor getAsyncExecutor() {
            return asyncExecutor;
        }
    
        @Override
        public AsyncUncaughtExceptionHandler getAsyncUncaughtExceptionHandler() {
            return (ex, method, params) -> ErrorLogger.getInstance().log(String.format("执行异步任务'%s'", method), ex);
        }
    }
    配置自定义的TaskExecutor

    由于AsyncConfigurer的默认线程池在源码中为空,Spring通过beanFactory.getBean(TaskExecutor.class)先查看是否有线程池,未配置时,通过beanFactory.getBean(DEFAULT_TASK_EXECUTOR_BEAN_NAME, Executor.class),又查询是否存在默认名称为TaskExecutor的线程池。所以可在项目中,定义名称为TaskExecutor的bean生成一个默认线程池。也可不指定线程池的名称,申明一个线程池,本身底层是基于TaskExecutor.class便可。

    @EnableAsync
    @Configuration
    public class TaskPoolConfig {
        @Bean(name = AsyncExecutionAspectSupport.DEFAULT_TASK_EXECUTOR_BEAN_NAME)
        public Executor taskExecutor() {
            ThreadPoolTaskExecutor executor = new ThreadPoolTaskExecutor();
             //核心线程池大小
            executor.setCorePoolSize(10);
            //最大线程数
            executor.setMaxPoolSize(20);
            //队列容量
            executor.setQueueCapacity(200);
            //活跃时间
            executor.setKeepAliveSeconds(60);
            //线程名字前缀
            executor.setThreadNamePrefix("taskExecutor-");
            executor.setRejectedExecutionHandler(new ThreadPoolExecutor.CallerRunsPolicy());
            return executor;
        }
        
        @Bean(name = "new_task")
        public Executor taskExecutor() {
            ThreadPoolTaskExecutor executor = new ThreadPoolTaskExecutor();
             //核心线程池大小
            executor.setCorePoolSize(10);
            //最大线程数
            executor.setMaxPoolSize(20);
            //队列容量
            executor.setQueueCapacity(200);
            //活跃时间
            executor.setKeepAliveSeconds(60);
            //线程名字前缀
            executor.setThreadNamePrefix("taskExecutor-");
            executor.setRejectedExecutionHandler(new ThreadPoolExecutor.CallerRunsPolicy());
            return executor;
        }
    }

    @Async注解,使用系统默认或者自定义的线程池(代替默认线程池)。可在项目中设置多个线程池,在异步调用时,指明需要调用的线程池名称,如@Async("new_task")。

    注意事项:
    •  @Async异步任务需要添加事务支持步骤
      • @Async与@Transaction注解分开方法,即在@Async注解的方法内部再单独去调用拥有@Transaction注解的方法。
      • 在调用拥有@Async注解的方法的父方法需要添加@Transaction注解。

    参考:

    https://www.cnblogs.com/keyi/p/11350531.html

    https://www.cnblogs.com/wlandwl/p/async.html

    时刻与技术进步,每天一点滴,日久一大步!!! 本博客只为记录,用于学习,如有冒犯,请私信于我。
  • 相关阅读:
    SharePoint Server 2007 Beta2 Technical Refresh 安装提示
    SharePoint Server安全工具:Forefront for SharePoint
    7月6日,深圳OTEC成员会议
    数据字典存储事件实例
    C#学习:事件
    发布符合 .NET Framework 准则的事件
    ASP.NET缓存:用户控件缓存
    C#中用ToString方法格式化时间
    C#学习:委托
    实现接口事件
  • 原文地址:https://www.cnblogs.com/myitnews/p/14015105.html
Copyright © 2011-2022 走看看