深度学习之卷积标题

1 卷积在图像中有什么直观作用

​        在卷积神经网络中，卷积常用来提取图像的特性，但差异条理的卷积利用提取到的特性范例是不雷同的，特性范例粗分如表1所示。
​                                                                 表1 卷积提取的特性范例
卷积条理特性范例浅层卷积边沿特性中层卷积局部特性深层卷积全局特性图像与差异卷积核的卷积可以用来实验边沿检测、锐化和含糊等利用。表5.3体现了应用差异范例的卷积核（滤波器）后的各种卷积图像。
​                                                                 表2 一些常见卷积核的作用
卷积作用卷积核卷积后图像输出原图[000010000]\begin{bmatrix} 0 & 0 & 0 \\ 0 & 1 & 0 \\ 0 & 0 & 0 \end{bmatrix}​000​010​000​​

| 边沿检测（突出边沿差异） | [10−1000−101]\begin{bmatrix} 1 & 0 & -1 \\ 0 & 0 & 0 \\ -1 & 0 & 1 \end{bmatrix}​10−1​000​−101​​ |   

|
|  边沿检测（突出中心值）  | [−1−1−1−18−1−1−1−1]\begin{bmatrix} -1 & -1 & -1 \\ -1 & 8 & -1 \\ -1 & -1 & -1 \end{bmatrix}​−1−1−1​−18−1​−1−1−1​​ |  

|
|         图像锐化         | [0−10−15−10−10]\begin{bmatrix} 0 & -1 & 0 \\ -1 & 5 & -1 \\ 0 & -1 & 0 \end{bmatrix}​0−10​−15−1​0−10​​ |     

|
|         方块含糊         | [111111111]×19\begin{bmatrix} 1 & 1 & 1 \\ 1 & 1 & 1 \\ 1 & 1 & 1 \end{bmatrix} \times \frac{1}{9}​111​111​111​​×91​ |      

|
|         高斯含糊         | [121242121]×116\begin{bmatrix} 1 & 2 & 1 \\ 2 & 4 & 2 \\ 1 & 2 & 1 \end{bmatrix} \times \frac{1}{16}​121​242​121​​×161​ |

|
2 卷积层有哪些根本参数？

​        卷积层中须要用到卷积核（滤波器或特性检测器）与图像特性矩阵举行点乘运算，使用卷积核与对应的特性感受域举行划窗式运算时，须要设定卷积查对应的巨细、步长、个数以及添补的方式，如表3所示。
​                                                                                 表3 卷积层的根本参数
参数名作用常见设置卷积核巨细 (Kernel Size)卷积核的巨细界说了卷积的感受野在已往常设为5，如LeNet-5；如今多设为3，通过堆叠3×33\times33×3的卷积核来到达更大的感受域卷积核步长 (Stride)界说了卷积核在卷积过程中的步长常见设置为1，表现滑窗隔断为1，可以覆盖全部相邻位置特性的组合；当设置为更大值时相称于对特性组合降采样添补方式 (Padding)在卷积核尺寸不能完满匹配输入的图像矩阵时须要举行肯定的添补计谋设置为’SAME’表现对不敷卷积核巨细的边界位置举行某种添补（通常零添补）以包管卷积输出维度与与输入维度同等；当设置为’VALID’时则对不敷卷积尺寸的部分举行舍弃，输出维度就无法包管与输入维度同等输入通道数 (In Channels)指定卷积利用时卷积核的深度默认与输入的特性矩阵通道数（深度）同等；在某些压缩模子中会接纳通道分离的卷积方式输出通道数 (Out Channels)指定卷积核的个数若设置为与输入通道数一样的巨细，可以保持输入输出维度的同等性；若接纳比输入通道数更小的值，则可以淘汰团体网络的参数量卷积利用维度变更公式：
Od={⌈(Id−ksize)+1)s⌉,padding=VALID⌈Ids⌉,padding=SAMEO_d =\begin{cases} \lceil \frac{(I_d - k_{size})+ 1)}{s}\rceil ,& \text{padding=VALID}\\ \lceil \frac{I_d}{s}\rceil,&\text{padding=SAME} \end{cases}Od​={⌈s(Id​−ksize​)+1)​⌉,⌈sId​​⌉,​padding=VALIDpadding=SAME​
此中，IdI_dId​为输入维度，OdO_dOd​为输出维度，ksizek_{size}ksize​为卷积核巨细，sss为步长
3 卷积核有什么范例？

​        常见的卷积重要是由连续细密的卷积查对输入的图像特性举行滑窗式点乘求和利用，除此之外尚有其他范例的卷积核在差异的任务中会用到，具体分类如表5.5所示。
​                                                                         表4 卷积核分类
卷积种别表示图作用标准卷积最常用的卷积核，连续细密的矩阵情势可以提取图像地域中的相邻像素之间的关联关系，3×33\times33×3的卷积核可以得到3×33\times33×3像素范围的感受视野扩张卷积（带孔卷积或空洞卷积）

引入一个称作扩张率（Dilation Rate）的参数，使同样尺寸的卷积核可以得到更大的感受视野，相应的在雷同感受视野的条件下比平常卷积接纳更少的参数。同样是3×33\times33×3的卷积核尺寸，扩张卷积可以提取5×55\times55×5范围的地域特性，在实时图像分割范畴广泛应用转置卷积

先对原始特性矩阵举行添补使其维度扩大到适配卷积目标输出维度，然后举行平常的卷积利用的一个过程，其输入到输出的维度变更关系恰好与平常卷积的变更关系相反，但这个变更并不是真正的逆变更利用，通常称为转置卷积(Transpose Convolution)而不是反卷积(Deconvolution)。转置卷积常见于目标检测范畴中对小目标的检测和图像分割范畴还原输入图像标准。可分离卷积

标准的卷积利用是同时对原始图像H×W×CH\times W\times CH×W×C三个方向的卷积运算，假设有KKK个雷同尺寸的卷积核，如许的卷积利用须要用到的参数为H×W×C×KH\times W\times C\times KH×W×C×K个；若将长宽与深度方向的卷积利用分离出变为H×WH\times WH×W与CCC的两步卷积利用，则同样的卷积核个数KKK，只须要(H×W+C)×K(H\times W + C)\times K(H×W+C)×K个参数，便可得到同样的输出标准。可分离卷积(Seperable Convolution)通常应用在模子压缩或一些轻量的卷积神经网络中，如MobileNet[1]^{[1]}[1]、Xception[2]^{[2]}[2]等5 二维卷积与三维卷积有什么区别？

• 二维卷积
  二维卷积利用如图5.3所示，为了更直观的阐明，分别展示在单通道和多通道输入中，对单个通道输出的卷积利用。在单通道输入的环境下，若输入卷积核尺寸为 (kh,kw,1)​(k_h, k_w, 1)​(kh​,kw​,1)​，卷积核在输入图像的空间维度上举行滑窗利用，每次滑窗和 (kh,kw)​(k_h, k_w)​(kh​,kw​)​窗口内的值举行卷积利用，得到输出图像中的一个值。在多通道输入的环境下，假定输入图像特性通道数为3，卷积核尺寸则为(kh,kw,3)​(k_h, k_w, 3)​(kh​,kw​,3)​，每次滑窗与3个通道上的(kh,kw)​(k_h, k_w)​(kh​,kw​)​窗口内的全部值举行卷积利用，得到输出图像中的一个值。
  

• 三维卷积
  3D卷积利用如图所示，同样分为单通道和多通道，且假定只使用1个卷积核，即输出图像仅有一个通道。对于单通道输入，与2D卷积差异之处在于，输入图像多了一个深度(depth)维度，卷积核也多了一个kd​k_d​kd​​维度，因此3D卷积核的尺寸为(kh,kw,kd)​(k_h, k_w, k_d)​(kh​,kw​,kd​)​，每次滑窗与(kh,kw,kd)​(k_h, k_w, k_d)​(kh​,kw​,kd​)​窗口内的值举行相干利用，得到输出3D图像中的一个值。对于多通道输入，则与2D卷积的利用一样，每次滑窗与3个channels上的(kh,kw,kd)​(k_h, k_w, k_d)​(kh​,kw​,kd​)​窗口内的全部值举行相干利用，得到输出3D图像中的一个值。