Java线程池执行器ThreadPoolExecutor工作原理（转载）

一、构造方法及其参数
ThreadPoolExecutor位于java.util.concurrent包，有4个带参数的构造方法。最终被调用的构造方法如下。其他构造方法只是提供了默认的ThreadFactory或者RejectedExecutionHandler作为参数。

public ThreadPoolExecutor(int corePoolSize,
　　　　　　　　　　　　　　　　int maximumPoolSize,
3　　　　　　　　　　　　　　　　 long keepAliveTime,
4　　　　　　　　　　　　　　　　 TimeUnit unit,
5　　　　　　　　　　　　　　　　 BlockingQueue<Runnable> workQueue,
　　　　　　　　　　　　　　　　ThreadFactory threadFactory,
　　　　　　　　　　　　　　　　RejectedExecutionHandler handler)

构造方法参数解析：

1. int corePoolSize
此参数字面上的意思是核心线程的数量。在public void execute(Runnable command)方法中，有以下几行代码：

if (workerCountOf(c) < corePoolSize) {
if (addWorker(command, true))
return;
}

其中workerCountOf(c)方法返回的是当前正在运行的线程数，addWorker(command,true)方法的功能则是启动一个新的线程以执行command。
可见，当有新任务来到，当前运行的线程数少于corePoolSize的时候，ThreadPoolExecutor二话不说就启动一个新的线程来执行这个任务。

2.int maximumPoolSize
最大可运行的线程数量。 在addWorker方法中：

private boolean addWorker(Runnable firstTask, boolean core) {
...
int wc = workerCountOf(c);
if (wc >= CAPACITY ||
wc >= (core ? corePoolSize : maximumPoolSize))
return false;
...
...
}
addWorker的功能是创建新的线程并执行。
从上面的代码可见，当当前运行的线程数量大于等于maximumPoolSize时，ThreadPoolExecutor将不会再创建新的线程。

3.long keepAliveTime
private Runnable getTask() {
boolean timedOut = false; // Did the last poll() time out?
for (;;) {
...
int wc = workerCountOf(c);
boolean timed = allowCoreThreadTimeOut || wc > corePoolSize;
...

Runnable r = timed ?
workQueue.poll(keepAliveTime, TimeUnit.NANOSECONDS) :
workQueue.take();
...
}
}

线程池中的线程运行完上一个任务之后，将会通过getTask方法获取下一个任务来执行。即从构造方法中的BlockingQueue<Runnable> workQueue参数--阻塞队列中获取。
从上面的代码中可知，当timed为true的时候，keepAliveTime才起作用。而timed在两种情况下才为true：1.当前运行的线程数量大于核心线程的数量。2.allowCoreThreadTimeOut为true(此变量可通过public void allowCoreThreadTimeOut(boolean value)方法设置),即设置核心线程也受等待时长限制。
所以keepAliveTime的作用是，当前线程执行完这个任务之后，等待下一个任务到来的最长等待时间。如果在这个时间内没有新的任务来到，那当前线程就会退出。前提是满足两个上面说的两个条件。
4.其他参数
TimeUnit unit : keepAliveTime的时间单位。详见TimeUnit类说明。

 BlockingQueue<Runnable> workQueue : 阻塞队列，用于存放待执行的任务。

ThreadFactory threadFactory : 为Runnable任务创建线程的接口，实现可参照ThreadPoolExecutor的内部类DefaultThreadFactory。
RejectedExecutionHandler handler : java.util.concurrent包下的回调接口，当用户传入的任务无法被接收时，此接口的rejectedExecution方法会被调用。

二、主要方法及逻辑
ThreadPoolExecutor的主要逻辑写在public void execute(Runnable command)方法中:

public void execute(Runnable command) {
if (command == null)
throw new NullPointerException();
int c = ctl.get();
if (workerCountOf(c) < corePoolSize) {
if (addWorker(command, true))
return;
c = ctl.get();
}
if (isRunning(c) && workQueue.offer(command)) {
int recheck = ctl.get();
if (! isRunning(recheck) && remove(command))
reject(command);
else if (workerCountOf(recheck) == 0)
addWorker(null, false);
}
else if (!addWorker(command, false))
reject(command);
}

前面说了，workerCountOf(c)方法可以获取当前正在运行的线程数，那我们进到该方法看看:

private static int workerCountOf(int c)  { return c & CAPACITY; }
private static final int COUNT_BITS = Integer.SIZE - 3;
private static final int CAPACITY   = (1 << COUNT_BITS) - 1;

所以整数c的后28位存放着当前运行线程的数量？要验证这个问题，我们先看看c是从哪里来的：int c = ctl.get(); ，那ctl又是什么？
private final AtomicInteger ctl = new AtomicInteger(ctlOf(RUNNING, 0));
原来ctl是一个提供原子级操作的整数，关于AtomicInteger大家可以百度下，此处我们就当它是一个整数。其初始值为ctlOf(RUNNINT,0)，这个又是什么方法？

private static int ctlOf(int rs, int wc) { return rs | wc; }
private static final int RUNNING    = -1 << COUNT_BITS;
private static final int SHUTDOWN   =  0 << COUNT_BITS;
private static final int STOP       =  1 << COUNT_BITS;
private static final int TIDYING    =  2 << COUNT_BITS;
private static final int TERMINATED =  3 << COUNT_BITS;

看到这里就明了了，原来整数c的前4位存放ThreadPoolExecutor的运行状态，后28位存放运行线程的数量。那为什么要把这两个数打包到一起呢？这个问题我们后面再看。

所以当workerCountOf(c) < corePoolSize时，我们会进入到addWorker方法：

private boolean addWorker(Runnable firstTask, boolean core) {
retry:
for (;;) {
int c = ctl.get();//当前运行线程的数量
int rs = runStateOf(c);//当前运行状态

// Check if queue empty only if necessary.
if (rs >= SHUTDOWN &&
! (rs == SHUTDOWN &&
firstTask == null &&
! workQueue.isEmpty())) //当前的运行状态不为RUNNING，或者在SHUTDOWN状态下（不接受新任务但是会执行完队列中的任务）,否则返回false
return false;

for (;;) {
int wc = workerCountOf(c);//再检查一遍当前运行的线程数
if (wc >= CAPACITY ||
wc >= (core ? corePoolSize : maximumPoolSize))//线程的数量不能大于最大容量。如果该任务标记为核心任务，那线程的数量不能大于corePoolSize，不然的话不能大于maximunPoolSize，否则返回false
return false;
if (compareAndIncrementWorkerCount(c))//将线程数量加1，如果增加成功，则退出循环，执行后面的代码。失败一般都是因为线程数不同步。
break retry;
c = ctl.get(); // Re-read ctl
if (runStateOf(c) != rs)//再检查一遍运行状态，如果运行状态改变了，将从外循环开头开始执行，再次确认能否添加任务。
continue retry;
// else CAS failed due to workerCount change; retry inner loop<pre name="code" class="java">//如果程序运行到这里，是因为线程数加1失败但是运行状态没有发生改变，此时会再执行内循环验证线程数。
} } 
//下面的代码功能是创建新的Worker实例 
boolean workerStarted = false;//线程是否启动 
boolean workerAdded = false;//Worker是否已添加到Set中 
Worker w = null; 
try { w = new Worker(firstTask); 
final Thread t = w.thread;//Worker实例中存放了一个Thread 
if (t != null) { 
final ReentrantLock mainLock = this.mainLock; 
mainLock.lock(); 
try { // Recheck while holding lock. 
// Back out on ThreadFactory failure or if 
// shut down before lock acquired. 
int rs = runStateOf(ctl.get()); 
if (rs < SHUTDOWN || (rs == SHUTDOWN && firstTask == null)) {//再次检查运行状态，逻辑就不说了，和上面的相同 
if (t.isAlive()) // precheck that t is startable 
throw new IllegalThreadStateException(); 
workers.add(w); 
int s = workers.size(); 
if (s > largestPoolSize)//这里应该是统计，没有实际作用 
largestPoolSize = s; workerAdded = true; 
} 
} finally { 
mainLock.unlock(); 
}
if (workerAdded) { 
t.start();//启动新线程 
workerStarted = true; 
} 
} 
} finally {
if (! workerStarted)//如果启动线程失败 
addWorkerFailed(w); 
} 
return workerStarted; 
}

看来addWorker方法的大致功能就是创建一个新Worker实例，并执行Worker实例中的线程。
所以如果addWorker执行成功，则execute方法将直接返回。
如果addWorker执行失败，即不能为该任务创建一个新的线程。那么execute方法将尝试把这个方法放到阻塞队列中。即workQueue.offer(command)。如果offer成功，将再次检查运行状态和当前运行的线程数量，保证这两个值没有在offer期间发生改变。如果当前状态不是RUNNING，将拒绝这个任务。如果当前运行的线程数量为0，则执行addWorker(null, false);。这又是什么意思？为什么参数是null？
我们回到addWorker方法看一下。在创建Worker方法的时候，并没有判断Runnable是否为null。那它是怎么执行的？我们再看看Woker类

Worker(Runnable firstTask) {
setState(-1); // inhibit interrupts until runWorker
this.firstTask = firstTask;
this.thread = getThreadFactory().newThread(this);
}

原来Worker类初始化线程变量的时候传入的Runnable不是我们传入的参数，而是它自己。我们在看看它自己的run方法。

/** Delegates main run loop to outer runWorker. */
public void run() {
runWorker(this);
}
final void runWorker(Worker w) {
        Thread wt = Thread.currentThread();
        Runnable task = w.firstTask;//Worker构造方法中的参数在这里
        w.firstTask = null;
        w.unlock(); // allow interrupts
        boolean completedAbruptly = true;
        try {
            while (task != null || (task = getTask()) != null) {//当task为null时，尝试获取阻塞队列中的任务
                w.lock();
                // If pool is stopping, ensure thread is interrupted;
                // if not, ensure thread is not interrupted.  This
                // requires a recheck in second case to deal with
                // shutdownNow race while clearing interrupt
                if ((runStateAtLeast(ctl.get(), STOP) ||
                     (Thread.interrupted() &&
                      runStateAtLeast(ctl.get(), STOP))) &&
                    !wt.isInterrupted())
                    wt.interrupt();
                try {
                    beforeExecute(wt, task);
                    Throwable thrown = null;
                    try {
                        task.run();//执行任务
                    } ... finally {
                        afterExecute(task, thrown);
                    }
                } finally {
                    task = null;
                    w.completedTasks++;
                    w.unlock();
                }
            }
            completedAbruptly = false;
        } finally {
            processWorkerExit(w, completedAbruptly);
        }
    }
private Runnable getTask() {
        boolean timedOut = false; // Did the last poll() time out?
        for (;;) {
            int c = ctl.get();
            int rs = runStateOf(c);
            // Check if queue empty only if necessary.
            if (rs >= SHUTDOWN && (rs >= STOP || workQueue.isEmpty())) {
                decrementWorkerCount();
                return null;
            }
            int wc = workerCountOf(c);
            // Are workers subject to culling?
            boolean timed = allowCoreThreadTimeOut || wc > corePoolSize;
            if ((wc > maximumPoolSize || (timed && timedOut))
                && (wc > 1 || workQueue.isEmpty())) {
                if (compareAndDecrementWorkerCount(c))
                    return null;
                continue;
            }
            try {
                Runnable r = timed ?
                    workQueue.poll(keepAliveTime, TimeUnit.NANOSECONDS) :
                    workQueue.take();
                if (r != null)
                    return r;//这里返回阻塞队列的Runnable。此处逻辑在前面的keepAliveTime中已讲过。
                timedOut = true;
            } catch (InterruptedException retry) {
                timedOut = false;
            }
        }
    }

到这里就明白了。当当前运行的线程数为0时，调用addWorker(null,false)时，将创建一个新的线程去取阻塞队列中的任务来执行。

最后，execute方法中，如果调用offer在阻塞队列存入任务失败，将调用addWorker(command, false)尝试启动一个非核心线程来执行任务。如果启动失败，此任务将被拒绝。

3.总结
所以，ThreadPoolExecutor的主要逻辑是，当用户调用execute(Runnable command) ，大致逻辑如下(注意是大致逻辑，代码中的逻辑更复杂更详细)：
1.查看当前运行状态，如果不是RUNNING状态，将直接拒绝新任务。否则进入步骤2。
2.查看当前运行线程的数量，如果数量少于核心线程数，将直接创建新的线程执行该任务。否则进入步骤3。
3.将该任务添加到阻塞队列，等待核心线程执行完上一个任务再来获取。如果添加到阻塞队列失败，进入步骤4。
4.尝试创建一个非核心线程执行该任务，前提是线程的数量少于等于最大线程数。如果失败，拒绝该任务。

所以使用ThreadPoolExecutor需要注意下面几点：
1.allowCoreThreadTimeOut默认为false，如果不设置为true，那已被创建的少于等于核心线程数量的线程，将一直存在，处于运行状态或者阻塞在workQueue.take()中。
2.当前运行的线程数等于核心线程数了，任务才会被加入队列，当队列满了，才会创建非核心线程。所以如果使用LinkedBlockingQueue，那么队列将不会满，非核心线程不会被创建。
3.如果队列满了，当前运行的线程数也达到最大线程数了，那么新增的任务将被拒绝，即使并没有发生任何错误。所以应该做好被拒绝任务的处理工作。