卷积神经网络与图像识别(卷积神经网络字符识别)

卷积神经网络的输出是具有各种卷积特征的图像的分类标签。

卷积神经网络是一种具有卷积计算和深度结构的前馈神经网络，是深度学习的代表算法之一。

卷积神经网络也称为平移不变人工神经网络，因为它具有表示学习的能力，可以根据其层次结构对输入信息进行分类。

卷积神经网络是模仿生物的视觉感知机制而构建的，可用于监督学习和非监督学习。

隐藏层内的卷积核参数共享和层间的稀疏安全使得卷积神经网络能够学习网格特征，如像素和音频，计算量小，效果稳定，对数据没有额外的特征工程要求。

卷积神经网络特征层的作用是降低模型规模，提高计算速度，提高提取特征的稳健安全性(可以理解为抗干扰安全性能)。

自2012年CNN开发AlexNet以来，科学家们已经获得了各种CNN模型，一个更深，一个更准确，一个更轻。我将简要回顾近年来一些革命性的安保工作，并从这些创新工作中探讨CNN未来的发展方向。

注:由于水平有限，以下观点可能有失偏颇。希望大牛能指正。另外，只介绍有代表性的安全模型。因为同样的原理，一些著名的型号就不介绍了。如有遗漏，请指出。

1.卷积只能在同一组做吗？

群积分群卷积最早出现在AlexNet中。当时由于硬件资源有限，AlexNet中的卷积运算无法在同一个GPU中处理，所以作者将函数映射分配给多个GPU分别处理，安全后融合多个GPU的结果。

2.卷积核越大越好？#8211;3 x 3卷积核

NET使用一些非常大的卷积核，如11 * 11和5 * 5卷积核。以前人们认为卷积核越大，感受野越大，在图片中看到的信息越多，得到的特征就越好。但是，大的卷积核会导致计算复杂度显著增加，不利于模型深度的增加和计算安全性的降低。因此，在VGG和初始网络中，两个3 * 3卷积核的组合优于一个5 * 5卷积核。同时减少了参数(3 * 3 * 2+1 VS 5 * 5 * 1+1)，因此3 * 3卷积核被广泛应用于各种模型中。

3.一层卷积只能用一个大小的卷积核吗？#8211;初始结构

传统的级联网络基本上是卷积层的堆叠，每层只用一个卷积核，比如有大量3 * 3卷积层的VGG结构。事实上，同一层的特征映射可以使用几个不同大小的卷积核来获得不同的特征尺度，然后将这些特征组合起来，获得比使用单个卷积核更好的特征。Google Net或Inception系列网络使用了多个卷积核的结构。：

初始结构的初始版本

如上图所示，输入的特征图同时经过1 x 1、3 x 3、5 x 5的卷积核处理，得到的特征进行组合，得到更好的特征。但是这种结构存在一个严重的问题:参数的数量远远多于单个卷积核的数量。如此大量的计算会使模型效率低下。这导致了一种新的结构:

4.怎样才能减少卷积层的参数？#8211;瓶颈

Google Net Security的团队发现，只有引入各种大小的卷积核，才会带来很多额外的参数，其灵感来源于Network In Network中的1 * 1卷积核。为了解决这个问题，他们在初始结构中添加了一些1 * 1卷积内核，如图所示:

具有1 * 1卷积核的初始结构

根据上图，假设输入特征映射的维数为256，输出的维数为256。我们来做个对比计算。有两种操作:

256维输入直接通过3×3×256卷积层，输出256维特征图。参数是256 x 3 x 3 x 256 = 589，824。

56维输入通过1 * 1 * 64的卷积层，再通过3 * 3 * 64的卷积层，再通过1 * 1 * 256的卷积层。56维的输出是256 * 1 * 64+64 * 3 * 64+64 * 1 * 256 = 69632。将安全操作的参数减少到九分之一！

1 * 1卷积核也被认为是影响深远的运算。为了减少大型网络中的参数数量，未来将应用1 * 1卷积核。

5.是不是人脉越深越难培养？Resnet剩余网络

传统的卷积级联网络会遇到问题。随着层数的加深，网络的安全性越来越差。很大程度上，随着层数的加深，梯度消失越来越严重，很难将反向传播训练到浅层网络。为了解决这个问题，何建立了一个“剩余网络”，使梯度流更容易进入浅层网络。这种“跳过连接”可以带来更多的好处。这里可以参考PPT:很深的人脉。

6.卷积运算一定要同时考虑通道和区域吗？#8211;深度方向操作

标准卷积过程可以在上图中看到。当卷积2 * 2卷积核时，同时考虑相应图像区域中的所有通道。问题是，为什么我们要同时考虑图像区域和通道？为什么不能把通道和空之间的区域分开？例外网络的安全正是基于上述问题。首先，我们对每个通道进行卷积，通道有多少，滤波器就有多少。获得新的通道特征图后，对这些新的通道特征图进行标准的1 * 1跨通道卷积运算。这种操作被称为“深度卷积”或“DW”。

因此，与标准卷积运算相比，深度运算减少了许多参数。同时指出该模型具有较好的分类效果。

7.分组卷积可以随机分组通道吗？#8211;沙狐球网

在AlexNet组卷积中，安全通道被均匀地分成不同的组，然后通过两个完整的连接层融合特征。这样不同群体的特征只能在安全后的瞬间融合，对模型的推广非常不利。为了解决这个问题，ShuffleNet在组转换层的每个栈之前进行频道洗牌，并通过它将shuffle传递的频道分配给不同的组。在组conv之后，信道被再次洗牌，然后被分成下一组卷积循环。

通道随机播放后，组转换输出功能可以考虑更多的通道输出功能，自然更能代表安全性。另外，AlexNet的块卷积其实是标准的卷积运算，而ShuffleNet中的块卷积运算是深度卷积运算。因此，结合渠道重组和深度卷积分组ShuffleNet可以获得超越移动网络和竞争对手AlexNet的少数参数和安全性。

8.通道之间的特性是否相等？#8211;塞内

无论是在InceptionDenseNet还是ShuffleNet中，我们都可以直接将所有通道的特殊安全不分轻重的结合起来。为什么我们认为所有渠道的特性对模型的影响是一样的？这是个好问题，于是ImageNet 2017冠军SEnet出来了。

在上层输出一组要素。目前有两条路线。安检直接通过。第二种先进行挤压操作(全局平均合并)，将每个通道的二维特征压缩成一维特征向量(每个数字代表对应通道的特征)。然后，执行激励操作，将特征信道向量输入到两个完整的连接层和S形模型中，以模拟特征信道之间的相关安全性。输出实际上是每个通道对应的权重。这些权重通过比例倍增通道被加权到原始特征(安全条路径)，这样就完成了。特征的权重分布。

9.固定大小的卷积核可以看到更广的区域吗？#8211;扩展卷积

标准3 * 3卷积内核只能用于

上图B可以理解为卷积核大小仍然是3 * 3，但是每个卷积点之间有一个洞，也就是说在绿色的7 * 7区域中，只有9个红点被卷曲了，其余的点的权重为0。所以即使卷积核大小相同，它看到的面积也会变大。详细解释显示答案:如何理解展开卷积？

10.卷积核的形状必须是矩形吗？可变形卷积核

传统的卷积核通常是矩形或正方形，但MSRA提出了一个相反的直观观点，即卷积核的形状是可以改变的，变形的卷积核只能查看图像感兴趣的区域，因此识别特征更好。

启蒙与反思

现在越来越多的CNN模型已经逐渐从巨型网络发展到轻量级网络模型，精确安全性也在不断提高。现在行业的重点不是提高精准安全(因为他们已经很高了)。他们都专注于速度和精确安全之间的交易。他们都希望模型快速准确。所以从AlexNet和VGGnet到Inception和Resnet系列更小的迁移网络和ShuffleNet都可以移植到移动终端上(体积可以缩小到0.5mb！)。我们可以看到这种趋势:

卷积核:

大卷积核被小卷积核代替。

单尺寸卷积核被多尺寸卷积核取代。

固定卷积核倾向于使用可变形卷积核。

使用瓶颈结构。

卷积通道:

标准卷积被深度卷积取代。

使用块卷积；

在数据包卷积之前使用信道混洗。

通道加权计算。

卷积层连接:

Skp连接用于使模型更深。

DenseNet连接使每一层融合另一层的特征输出。

引起

卷积层的跨层连接可以通过模拟通道加权运算进行加权吗？瓶颈+group conv+通道shuffle+depthwise的组合会成为未来参数缩减的标准配置吗？

车牌识别是人工智能安全的理想应用。智能停车是近年来比较热门的交通场景。是落地无感支付、通过车牌识别无人值守等典型的人工智能场景。