卷积操作,什么是分组卷积?

2.1什么是分组卷积在解释分组卷积之前，我们用一张图来体验一下一般的卷积操作。在卷积神经网络中，每个卷积层由若干个卷积单元组成，每个卷积单元的参数通过反向传播算法进行优化，如果把参与卷积的函数看作区间指示函数，卷积也可以看作是“移动平均”的推广，从上图可以看出，一般卷积会对整个输入数据做卷积操作，即输入数据:h1×w1×C1；；卷积核的大小是h1×w1，总共有C2，那么卷积得到的输出数据就是H2×W2×C2。

上图的计算过程是这样的:首先我们可以把右边的卷积，可以叫做滤波器或者内核，覆盖到左边的第一个区域，然后按照对应的位置分别乘加，3 * 11 * 12 * 10 * 00 * 01 *(1)8 *(1)2 *(1)5；按照上面的计算方法，逐渐向右移动一个步长(步长可以设置为1，2，...)，然后向下移动，逐步计算对应的值，得到最终值。

包卷积最早出现在AlexNet中。由于当时硬件资源有限，在训练AlexNet时，卷积操作无法全部在同一个GPU中处理，所以作者将featuremaps分布到多个GPU中进行处理，最后融合多个GPU的结果。2.1什么是分组卷积在解释分组卷积之前，我们用一张图来体验一下一般的卷积操作。从上图可以看出，一般卷积会对整个输入数据做卷积操作，即输入数据:h1×w1×C1；；卷积核的大小是h1×w1，总共有C2，那么卷积得到的输出数据就是H2×W2×C2。

主要是这个过程是一气呵成的，对存储器的容量提出了更高的要求。但是包卷积显然没有那么多参数。先用图片直观感受分组卷积的过程。对于上面提到的同一个问题，包卷积如下图所示。可以看出，输入数据分为两组(组数为g)。需要注意的是，这种分组只是深度上的划分，也就是将一些通道分组为一组，这个具体的数目由(C1/克)决定。

(1)单个独立卷积核的通道数输入图像的通道数(由输入图像决定)；(2)独立卷积核的数量和输出图像的通道数量(由用户确定)。在描述卷积核时，必须明确“卷积核的通道数”这个概念是指“单个独立卷积核的通道数”还是独立卷积核的数目(输出通道数)。举例:如果输入图像的尺度为32×32×128，即输入通道数为128；那么根据前面的(1)，单个卷积核的通道数也是128，即卷积核的大小应该是:n×n×128(n通常是3、5、7等。).

视觉卷积层的基础知识如果我们设计六个卷积核，可以理解为我们认为这张图像上有六个底层纹理图案，也就是说我们可以用六个基本图案来绘制一幅图像。卷积层的作用是提取局部区域的特征。ConvolutionalNeuralNetwork (CNN或ConvNet)是一种深度前馈神经网络，具有局部连接和权重共享的特点。

在卷积神经网络中，每个卷积层由若干个卷积单元组成，每个卷积单元的参数通过反向传播算法进行优化。卷积神经网络中卷积层之间的连接称为稀疏连接(sparseconnection)，即与前馈神经网络中的全连接相比，卷积层中的神经元只与其相邻层中的一部分相连，而不是全部神经元。卷积神经网络是一种包含卷积计算、具有深层结构的前馈神经网络。是深度学习的代表性算法之一。

根据上面描述的神经网络，如果处理一张图片，参数有多大？假设图像的大小为1200*1200，下一层神经元的数量为10 ^ 5，则不难得到1200 * 1200 * 10 51.44 * 10 ^ 12的参数。可以看出，一层的参数数量非常多。如果增加更多的层数，参数的个数就要超出内存的容忍范围，从研究和工程的角度来说是不允许的。而且参数太多，容易导致过拟合。

经过研究，从稀疏连接、参数共享、平移不变性三个方面进行了改进。可能有些人不理解这种稀疏连接是怎么实现的。先说卷积操作吧。以一个二维矩阵作为输入(可以看作是单通道图片的像素值)，卷积造成稀疏连接的根本原因是这个块的核函数，一般核函数的大小比输入小很多。以下图例:卷积操作可视为滑动窗口法。首先输入维度为4×4，输入的红色部分乘以核函数中的元素，就是输出左上角的元素值s1。

卷积:实际上是通过两个函数F和G生成第三个函数的数学算子，代表函数F和G翻转平移后重叠部分的面积。如果把参与卷积的函数看作区间指示函数，卷积也可以看作是“移动平均”的推广。举例说明两个方波脉冲的卷积。其中函数g首先反射τ0，然后平移t成为g(tτ)。那么重叠部分的面积就相当于t处的卷积，这里横坐标代表要积分的变量τ和新函数f * g的自变量t。

显示了方波脉冲波和指数衰减脉冲波(后者可能出现在RC电路中)的卷积。同样，重叠面积相当于t处的卷积，注意，因为G是对称的，所以在这两张图中，反射不改变形状，卷积是分析数学中的一个重要运算。设f (x)和g (x)是r上的两个可积函数，做一个积分:可以证明上述积分几乎都存在，这样，随着x的不同取值，这个积分定义了一个新的函数h(x)，这个函数叫做函数F和G的卷积，并且记载了我们很容易验证，它仍然是一个可积函数。