可分离卷积
任何看过MobileNet架构的人都会遇到可分离卷积（separable convolutions）这个概念。但什么是“可分离卷积”，它与标准的卷积又有什么区别？可分离卷积主要有两种类型：空间可分离卷积和深度可分离卷积。
1. 空间可分离卷积
从概念上讲，这是两者中较容易的一个，并说明了将一个卷积分成两部分（两个卷积核）的想法，所以我将从这开始。 不幸的是，空间可分离卷积具有一些显着的局限性，这意味着它在深度学习中没有被大量使用。
空间可分卷积之所以如此命名，是因为它主要处理图像和卷积核（kernel）的空间维度：宽度和高度。 （另一个维度，“深度”维度，是每个图像的通道数）。
空间可分离卷积简单地将卷积核划分为两个较小的卷积核。 最常见的情况是将3x3的卷积核划分为3x1和1x3的卷积 核，如下所示：
图1：在空间上分离3x3内核
现在，我们不是用9次乘法进行一次卷积，而是进行两次卷积，每次3次乘法（总共6次），以达到相同的效果。 乘法较少，计算复杂性下降，网络运行速度更快。
图2：简单且空间可分离的卷积
最著名的可在空间上分离的卷积是用于边缘检测的sobel卷积核：
图3：分离的Sobel卷积核
在一个可分离卷积中，我们可以将内核操作拆分成多个步骤。我们用y = conv（x，k）表示卷积，其中y是输出图像，x是输入图像，k是内核。这一步很简单。接下来，我们假设k可以由下面这个等式计算得出：k = k1.dot（k2）。这将使它成为一个可分离的卷积，因为我们可以通过对k1和k2做2个一维卷积来取得相同的结果，而不是用k做二维卷积。
图4. Sobel X和Y滤镜
空间可分卷积的主要问题是并非所有卷积核都可以“分离”成两个较小的卷积核。 这在训练期间变得特别麻烦，因为网络可能采用所有可能的卷积核，它最终只能使用可以分成两个较小卷积核的一小部分。
比起卷积，空间可分离卷积要执行的矩阵乘法运算也更少。假设我们现在在 m x m 卷积核、卷积步长=1 、填充=0 的 N x N 图像上做卷积。传统的卷积需要进行 (N-2) x (N-2) x m x m 次乘法运算，而空间可分离卷积只需要进行 N x (N-2) x m + (N-2) x (N-2) x m = (2N-2) x (N-2) x m 次乘法运算。空间可分离卷积与标准的卷积的计算成本之比为：
2. 深度可分离卷积
与空间可分离卷积不同，深度可分离卷积与卷积核无法“分解”成两个较小的内核。 因此，它更常用。 这是在keras.layers.SeparableConv2D或tf.layers.separable_conv2d中看到的可分离卷积的类型。
深度可分离卷积之所以如此命名，是因为它不仅涉及空间维度，还涉及深度维度（信道数量）。 输入图像可以具有3个信道：R、G、B。 在几次卷积之后，图像可以具有多个信道。 你可以将每个信道想象成对该图像特定的解释说明（interpret）; 例如，“红色”信道解释每个像素的“红色”，“蓝色”信道解释每个像素的“蓝色”，“绿色”信道解释每个像素的“绿色”。 具有64个通道的图像具有对该图像的64种不同解释。
类似于空间可分离卷积，深度可分离卷积将卷积核分成两个单独的卷积核，这两个卷积核进行两个卷积：深度卷积和逐点卷积。 但首先，让我们看看正常的卷积是如何工作的。
空间可分离卷积，而在深度学习中，深度可分离卷积将执行一个空间卷积，同时保持通道独立，然后进行深度卷积操作。
假设我们在一个16输入通道和32输出通道上有一个3x3的卷积层。那么将要发生的就是16个通道中的每一个都由32个3x3的内核进行遍历，从而产生512（16x32）的特征映射。接下来，我们通过将每个输入通道中的特征映射相加从而合成一个大的特征映射。由于我们可以进行此操作32次，因此我们得到了期望的32个输出通道。
那么，针对同一个示例，深度可分离卷积的表现又是怎样的呢？我们遍历16个通道，每一个都有一个3x3的内核，可以给出16个特征映射。现在，在做任何合并操作之前，我们将遍历这16个特征映射，每个都含有32个1x1的卷积，然后才逐此开始添加。这导致与上述4608（16x32x3x3）个参数相反的656（16x3x3 + 16x32x1x1）个参数。
下面再进行详细说明。
前面部分所提到的 2D 卷积核 1x1 卷积。让我们先快速过一下标准的 2D 卷积。举一个具体的案例，假设输入层的大小为 7 x 7 x 3（高 x 宽 x 通道），过滤器大小为 3 x 3 x 3，经过一个过滤器的 2D 卷积后，输出层的大小为 5 x 5 x 1（仅有 1 个通道）。如下图所示：
图5. 使用1个过滤器做标准的2D卷积来创建一层的输出
一般来说，两个神经网络层间应用了多个过滤器，现在假设过滤器个数为 128。128 次 2D 卷积得到了 128 个 5 x 5 x 1 的输出映射。然后将这些映射堆叠为一个大小为 5 x 5 x 128 的单个层。空间维度如高和宽缩小了，而深度则扩大了。如下图所示
图6. 使用128个过滤器做标准的2D卷积来创建一个128层的输出