卷积神经网络的“封神之路”：一切始于AlexNet

新智元报道

来源：arstechnica

作者：TIMOTHYB.LEE编译：肖琴、大明

【新智元导读】AlexNet发表的2012年是具有里程碑意义的一年，自那以后，计算机视觉范畴的一切突破简直都来自深度神经网络。本文深化讨论了深度学习，特别是十分擅长与了解图像的深度卷积神经网络。

往常，我翻开GooglePhotos，输入“海滩”，就能查看我过去10年里去过的一切海滩的照片。我历来没有阅读过我的照片，也没有一张张给它们贴标签；相反，谷歌是依据照片自身的内容来辨认海滩的。

这个看似平凡的功用是基于一种叫做深度卷积神经网络的技术，该技术允许软件以一种以前的技术无法完成的方式了解图像。

近年来，研讨人员发现，随着他们构建的网络层数越深，积聚了越大的数据集来锻炼软件，软件的精确性就越高。这使得软件对计算才干产生了简直无法满足的需求，从而提振了英伟达和AMD等GPU厂商的财富。谷歌在几年前开发了自己的定制神经网络芯片，其他公司也争相效仿谷歌的做法。

以特斯拉为例，特斯拉延聘了深度学习专家AndrejKarpathy担任其自动驾驶系统Autopilot项目。特斯拉目前正在开发一种定制芯片，为未来版本Autopilot的神经网络操作提供加速。

又或，以苹果公司为例：最近几款iphone的中心芯片A11和A12都包含一个“神经引擎”，用来加速神经网络操作，并支持更好的图像和语音辨认应用程序。

我为这篇文章采访过的几位专家都将当前的深度学习热潮追溯到一篇特定的论文：AlexNet，名字来自它的主要作者AlexKrizhevsky。

“在我看来，AlexNet发表的2012年是具有里程碑意义的一年，”机器学习专家、《智能机器如何思索》(HowSmartMachinesThink)一书的作者SeanGerrish说。

在2012年之前，深度神经网络在机器学习范畴简直是一潭死水。但后来，Krizhevsky和他在多伦多大学的同事们在一项备受注目的图像辨认竞赛提交了参赛作品，并取得了比以往任何成果都要精确得多的成果。简直一夜之间，深度神经网络成为图像辨认的主要技术。其他运用该技术的研讨人员很快证明了图像辨认精度的进一步飞跃。

在这篇文章中，我们将深化讨论深度学习。我将解释什么是神经网络，它们是如何被锻炼的，以及为什么它们需求如此多的计算才干。然后我将解释为什么一种特殊类型的神经网络——深度卷积网络——在了解图像方面十分擅长。

一个单神经元的例子

“神经网络”(neuralnetwork)这个短语可能仍让人觉得有点含糊，所以让我们从一个简单的例子开端吧。假定你想用一个神经网络，依据红灯、黄灯和绿灯来决议一辆车能否通行。神经网络用单个神经元就能够完成这项任务。

神经元接受每个输入(1表示翻开，0表示关闭)，将其乘以相关的权重(weight)，并将一切权重值相加。然后，神经元添加倾向(bias)，该倾向肯定神经元“激活”的阈值。在这个例子中，假如输出是正的，我们就以为神经元曾经被“激活”了——否则就以为神经元没有被激活。这个神经元相当于不等式“green-red-0.5>0”。假如评价结果为真，即意味着绿灯亮，红灯关，那么车应该通行。

在真实的神经网络中，人工神经元需求多走了一步。将加权输入相加并参与倾向后，神经元再应用非线性激活函数。一个盛行的选择是sigmoid函数，它是一个s形函数，总是产生0到1之间的值。

激活函数的运用不会改动我们这个简单的红绿灯模型的结果(除了阈值需求是0.5而不是0)，但激活函数的非线性关于使神经网络能够建模更复杂的函数是必不可少的。假如没有激活函数，每一个神经网络，不论多么复杂，都能够简化成其输入的线性组合。线性函数不能模仿复杂的理想世界现象。非线性激活函数使神经网络能够近似任何数学函数。

一个简单的示例网络

当然，有很多措施能够近似函数。神经网络的特别之处在于，我们知道如何用一些微积分、一堆数据和大量的计算才干来“锻炼”它们。我们能够构建以一个通用神经网络为基础的软件，让它查看大量的标记示例，然后修正神经网络，使其为尽可能多的有标记样本产生正确的标签，而不是让人类程序员直接为特定任务设计一个神经网络。我们的目的是使得到的网络能够推行(generalize)，为先前不在锻炼数据集中的样本生成正确的标签。

早在AlexNet之前研讨人员就开端试图完成这一点了。1986年，三位研讨人员DavidRumelhart,GeoffreyHinton和RonaldWilliams发表了一篇关于反向传播的里程碑式的论文。反向传播是一种有助于使锻炼复杂神经网络在数学上变得容易操作的技术。

为了直观了解反向传播是如何工作的，让我们来看看MichaelNielsen在他的在线深度学习课本中描画的一个简单神经网络。这个网络的目的是以代表一个手写数字的28×28像素的图像作为输入，并且正确地辨认这个数字是什么。

每个图像都有28个×28=784个输入值，每个输入值都是0和1之间的实数，表示像素的亮度或暗度。Nielsen构建了这样一个神经网络：

在这张图中，中间和右边的每一个圆都是一个神经元。每个神经元对其输入进行加权平均，添加一个倾向值，然后应用一个激活函数。留意左边的圆圈不是神经元——这些圆圈代表网络的输入值。固然图像只显现了8个输入圆，但实践上有784个输入——每个输入对应输入图像的一个像素。

右边的10个神经元分别应该为不同的数字“点亮”：当输入是手写数字0时，顶部的神经元应该被触发；当输入是手写数字1时，第二个神经元应该被触发；如此类推。

每个神经元从它前面一层的每个神经元接受输入。因而，中间这15个神经元的每一个都有784个输入值。这15个神经元中的每一个都有一个权重参数，对应于它的784个输入。这意味着这一层单独就有15×784=11760个权重参数。同样，输出层包含10个神经元，每一个都从中间层的15个神经元取得输入，并添加另外15×10=150个权重参数。除此之外，这个网络还有25个倾向变量——每个倾向变量分别对应25个神经元中的每一个。

锻炼神经网络

锻炼的目的是优化这11935个参数，以最大限度地进步正确的输出神经元——并且只需那个输出神经元——在显现一个手写数字图像时亮起来的机遇。我们能够用一个名为MNIST的著名数据集来完成此操作，该数据集提供60000张有标记的28×28像素图像：

这里显现了MNIST数据集中的160个图像

Nielsen展示了如何运用74行Python代码来锻炼这个网络——不需求特殊的机器学习库。锻炼从为11935个权重和倾向参数中的每一个选择随机值开端。然后，软件会阅读示例图像，为每一个图像完成以下两个步骤的操作：

前馈步骤：在给定输入图像和网络的当前参数的条件下，计算网络的输出值。反向传播步骤：计算结果与正确的输出值偏离多少，然后修正网络参数，以稍微改进其在特定输入图像上的性能。

这是一个示例。假定网络显现下面这张图：

假如网络校准良好，那么网络的“7”输出应该接近1，而网络的其他9个输出应该都接近0。但是，假定在显现这个图像时，网络的“0”的输出为0.8。这就太高了！锻炼算法将改动“0”输出神经元的输入权重，使其在下次显现这张图像时更接近于0。

为此，反向传播算法为每个输入权重参数计算一个误差梯度(errorgradient)。这是一种丈量在输入权重发作给定变更时，输出误差会发作多大变更的措施。然后，算法运用这个梯度来决议每个输入权重的变更量——梯度越大，参数的变更就越大。

换句话说，这个锻炼过程“教导”输出层的神经元减少对会将它们推向错误答案的输入(即中间层的神经元)的留意力，而将留意力更多地放在将它们推向正确方向的输入。

该算法对其他每个输出神经元重复这一步骤。它减少“1”、“2”、“3”、“4”、“5”、“6”、“8”和“9”神经元(而不是“7”神经元)输入的权重，从而将这些输出神经元的值向下推。输入的值越高，输出误差相关于该输入的权重参数的梯度越大——因而它的权重会减少得越多。

相反，锻炼算法增加了招致“7”输出的输入权重，这将招致该神经元在下一次显现这张特定图像时产生更高的值。同样的，输入值越大，其权重的增加也越大，使得“7”输出神经元在以后的几轮中会愈加留意这些输入。

接下来，算法需求对中间层执行相同的计算：将每个输入权重改动到能够减少网络错误的方向——同样，使“7”输出更接近于1，其他输出更接近于0。但是每个中间神经元都是输出层一切10个神经元的输入，这使得事情在两个方面复杂化了。

首先，任何给定中间层输入的误差梯度不只取决于该输入值，而且还取决于下一层的误差梯度。该算法被称为反向传播算法，由于来自网络中较后一层的误差梯度是向后传播的，并且用于计算前一层的梯度。

此外，每个中间层神经元都是输出层中一切10个神经元的输入。因而，锻炼算法必须计算一个误差梯度，以反映特定输入权重的变更如何影响一切输出的平均误差。

反向传播是一种爬山算法：每一轮算法都会使输出结果更接近锻炼图像的正确结果——但只会接近一点点。随着算法得到越来越多的样本，它会“爬坡”到一组最优参数，这组参数能够正确分类尽可能多的锻炼样本。要抵达较高的精度，需求成千上万的锻炼样本，算法可能需求对锻炼集中的每幅图像进行几十次循环遍历，才干抵达性能的最高点。

Nielsen展示了如何用74行Python代码完成一切这些。值得留意的是，运用这个简单程序锻炼的神经网络能够辨认MNIST数据库中95%以上的手写数字。经过一些额外的改进，像这样一个简单的两层神经网络能够辨认98%以上的数字。

AlexNet带来的突破

你可能以为上世纪80年代反向传播的延展会开启基于神经网络的机器学习的快速进步时期，但事实并非如此。当然，在20世纪90年代和21世纪初就有人努力于这项技术。但对神经网络的兴味直到2010年初才真正兴起。

我们能够从ImageNet竞赛的结果中看出这一点。ImageNet竞赛是由斯坦福大学计算机科学家李飞飞组织的年度机器学习竞赛。在每年的竞赛中，参赛者都会得到超越一百万张图像的锻炼数据集，每张图像都被手工标记一个标签，标签有大约1000种类别，好比“消防车”、“蘑菇”或“猎豹”。参赛者的软件依据其对未被包含在锻炼集的其他图像进行分类的才干进行评判。程序能够进行多次猜测，假如前五次猜测中有一次与人类选择的标签相匹配，则被以为辨认胜利。

这项竞赛始于2010年，前两年深度神经网络并没有发挥主要作用。顶级团队运用了各种其他的机器学习技术，但结果相当平凡。2010年获胜的团队的top-5错误率高达28%。2011年，这个错误率为25%。

然后是2012年。来自多伦多大学的一个团队提交了参赛作品——即后来以主要作者AlexKrizhevsky命名的AlexNet——击败了一切竞争者。运用深度神经网络，该团队得到了16%的top-5错误率。最接近的竞争对手当年的错误率为26%。

上面讨论的手写辨认网络有两层，25个神经元，以及大约12000个参数。AlexNet要大得多，也复杂得多：8个可锻炼的层、650000个神经元，以及6000万个参数。

锻炼这种范围的网络需求大量的计算才干，而AlexNet被设计应用现代GPU提供的大量并行计算才干。研讨人员想出了如何在两个GPU之间分配网络锻炼的工作，从而给了它们两倍的计算才干。不外，固然进行了积极的优化，在2012年可用的硬件条件下(两个NvidiaGTX580GPU，每个3GB内存)，网络锻炼进行了5到6天。

看看AlexNet的结果关于了解这是一个多么厉害的突破是很有辅佐的。以下是AlexNet论文中的截图，展示了一些图像和AlexNet的top-5分类：

AlexNet能够辨认出第一张图片中有一只螨虫，即便这只螨虫只是在图片边沿的一个小外形。AlexNet不只能正确辨认美洲豹，它的其他top猜测——美洲虎、猎豹、雪豹和埃及猫——都是长相相似的猫科动物。AlexNet将蘑菇的图片标记为“木耳”——蘑菇的一种。“蘑菇”——官方正确的标签，是AlexNet的第二选择。

AlexNet的“错误”简直同样令人印象深化。照片上，一只雀斑狗站在樱桃后面，AlexNet的猜测是“雀斑狗”，而官方的标签是“樱桃”。AlexNet认识到这幅画中含有某种水果——“葡萄”和“接骨木浆果”是它的前五种选择——但它并没有完整认识到它们是樱桃。在一张马达加斯加猫站在树上的照片中，AlexNet列出了一群会爬树的小型哺乳动物。很多人(包含我)都可能会弄错。

这是真正令人印象深化的性能表示，表明软件能够辨认各种方向和背景中的常见对象。深度神经网络疾速成为图像辨认任务最受欢送的技术，尔后机器学习范畴就再也不回头看其他技术了。

“随着基于深度学习的措施在2012年取得胜利，2013年的绝大多数参赛措施都运用了深度卷积神经网络，”ImageNet的资助商写道。这种方式在随后的几年里持续，后来的获胜者的技术树立在AlexNet团队开创的基本技术之上。到2017年，运用更深层的神经网络的参赛者将top-5错误率降到3%以下。思索到这项任务的复杂性，能够说计算机比许多人能更好地完成这项任务了。

卷积网络：概念

从技术上讲，AlexNet是一个卷积神经网络。在这一节中，我将解释卷积网络是做什么的，以及为什么这种技术对现代图像辨认算法至关重要。

我们之前讨论的简单的手写辨认网络是完整衔接的：第一层的每个神经元都是第二层每个神经元的输入。这种结构足以完成相对简单的辨认28×28像素的数字的任务。但它不能很好地扩展。

在MNIST手写数字数据集中，字符总是居中的。这大大简化了锻炼，由于这意味着(好比说)“7”这个数字在图像的顶部和右侧总是有一些暗像素，而左下角总是白色的。一个“0”简直总是中间白色，在边沿有一些较暗的像素。一个简单的、完整衔接的网络能够相当容易地检测出这类方式。

但假定你想构建一个能够辨认出可能位于大图像中任何位置的数字的神经网络。一个完整衔接的网络是不能很好地工作的，由于它没有一种有效的措施来辨认位于图像不同部分的外形之间的相似性。假如你的锻炼集恰恰大多数“7”都位于左上角，那么你最终会得到一个更擅长辨认左上角的“7”的网络。

从理论上讲，你能够经过确保你的锻炼集在每个可能的像素位置上都有很多每个数字的样原本处置这个问题。但在理论中，这将是庞大的糜费。随着图像的大小和网络深度的增加，衔接的数量——也就是输入权重参数的数量——将会激增。你需求更多的锻炼图像(更不用说更多的计算才干)来抵达足够的精确性。

当神经网络学会辨认图像中某个位置的外形时，它应该能够将这种学习应用到图像其他部分的相似外形辨认中。卷积神经网络为这一问题提供了一个文雅的处置计划。

所以，想象一下，假如我们把一个大的图像分割成28×28像素的方格，然后，我们能够将每个方格输入到之前讨论的完整衔接的手写辨认网络中。假如“7”的输出在这些方格中至少有一个亮起，那就表示图像整体上可能有一个7。这就是卷积网络的实质。

卷积网络在AlexNet中的重要作用

在卷积网络中，这些“模板”被称为特征检测器，它们所看到的区域称为感受野。真实特征探测器常常具有远小于28像素的感知场。在AlexNet中，第一个卷积层具有特征检测器，其感知场是11*11像素。AlexNet中的后续卷积层具有三或五个单位宽的感受域。

当特征检测器扫过输入图像时，它会生成一个特征图：一个二维网格，指示探测器被图像的不同部分激活的强度。卷积层中通常有多个特征检测器，每个特征检测器扫描输入图像以取得不同的图案。在AlexNet中，第一层有96个特征探测器，产生96个特征图。

为了使其更细致，这里给出网络锻炼后AlexNet第一层中96个特征探测器中每个探测器学习的视觉方式的直观表示。探测器能够定位水平线或垂直线、从浅到深的画面突变、棋盘图案和许多其他外形。

彩色图像通常表示为每个像素具有三个数字属性的像素图：分别为红色值、绿色值和蓝色值。AlexNet的第一层就采用图像的这种“三数字”表示，并将其转换为96数字表示，即图像中的每个“像素”具有96个值，由96个特征检测器逐一对应。

在此例中，这96个值中的第一个指示图像中的特定点能否与此方式匹配：

第二个值指示特定点能否与此方式匹配：

第三个值指示特定点能否与此方式匹配：

...依旧为AlexNet的第一层中的其他93个特征检测器。第一层输出图像的新表示，其中每个“像素”是96个数字的向量（正如我稍后将解释的，这个新表示也按比例减少了四倍）。

这就是AlexNet的第一层。接下来还有四个卷积层，每个层都将前一层的输出作为输入。

正如我们所见，第一层检测基本图案，如水平线和垂直线，明暗突变和曲线。第二层运用这些输出作为构建块，来检测稍微复杂的外形。例如，第二层的特征检测器经过组合找到曲线的第一层特征检测器的输出来找到圆。第三层经过组合第二层的特征，找到更复杂的外形。第四层和第五层以此类推，能够找到的图案越来越复杂。

2014年，研讨人员MatthewZeiler和RobFergus发表了一篇论文，文中提供了一些有用的措施来对ImageNet的五层神经网络所辨认的方式类型进行可视化。

第一层在单侧具有11个单元的感受野，然后面的层在一侧具有三至五个单元的感受野。留意，后面的这些层正在查看由较早层生成的要素图，这些要素图中的每个“像素”代表原始图像中的多个像素。因而，每个图层的感知区域都比前面的图层包含原始图像的比例更大。这也是后面的图层中的缩略图图像看起来比前面的图层更复杂的部分缘由。

网络的第五层，也是最后一层（上图），能够辨认这些图像中各种元素。

右边的九个图像可能看起来不太相似。但是假如你看一下左边的九个热图，你会发现这个特殊的特征探测器没有聚焦在每个图像前景中的物体上。相反，它专注于每个图像背景中的草地部分！

显然，假如您尝试辨认的类别之一是“草”，草地检测器就是很有用的，而且对辨认许多其他类别的目的也很有用。在五层卷积层之后，AlexNet有三层全衔接层，就像我们的手写辨认网络中的层一样。这些层参考了第五层卷积层产生的每个特征映射，由于它们试图将图像分类为1000个可能的类别之一。

因而，假如图片背景中有草，则更有可能显现出野生动物。另一方面，假如图片背景中有草，则不太可能是室内家具的图片。这和其他第五层特征检测器提供了有照顾片中可能内容的大量信息。网络的最后几层合成了这些信息，以便对整个图片所描画的内容产生有依据的猜测。

不同卷积层之间的差别：共享输入权重

我们曾经看到卷积层中的特征检测器执行了令人印象深化的方式辨认，但到目前为止，我还没有解释卷积网络实践上是如何工作的。

卷积层是一层神经元。像任何神经元一样，它们会对输入进行加权平均，然后应用激活函数。运用反向传播技术来锻炼参数。

但与上述神经网络不同，卷积层未完整衔接。每个神经元仅从前一层中的一小部分神经元获取输入。而且，至关重要的是，卷积网络中的神经元具有共享的输入权重。

放大AlexNet第一个卷积层中的第一个神经元。该层具有11×11像素的感受野，因而第一神经元在图像的一个角上察看11×11像素。这个神经元从这121个像素中获取输入，每个像素存在三个参数值——红色、绿色和蓝色。所以神经元总共有363个输入。像任何神经元一样，这个神经元对这363个输入值进行加权平均，然后应用激活函数。由于它有363个输入值，所以还需求363个输入权重参数。

AlexNet第一层中的第二个神经元看上去与第一个神经元很相似。它还会看到一个11×11像素的正方形，但其感受野比第一个神经元的感受野偏移了四个像素。这在两个感受野之间产生了七个像素的堆叠，这避免了逾越两个神经元之间的线路就会错失信息的方式。第二个神经元还采用描画其11×11像素平方的363个值，将每个值乘以权重参数，将这些值相加，并应用激活函数。

第二个神经元运用与第一个神经元相同的输入权重。第一神经元的左上像素运用与第二神经元的左上像素相同的输入权重。所以这两个神经元寻觅完整相同的方式;他们只需四个像素偏移的感受野。

当然，神经元的总数远不只两个：在55×55的网格中，实践上有3025个神经元。这3025个神经元中的每一个都运用与前两个神经元相同的363个输入权重集。一切这些神经元一同构成一个特征检测器，无论它位于图像中的哪个位置，都能够“扫描”特定的图案。

不难看出，上面这两张图是采自某个真实的人脸，但把眼睛和嘴巴部分倒过来了。当你倒着看时，这张图看起来相对正常，由于人类的视觉习气于在这个方向看到眼睛和嘴巴。但是，当你正过来看这张脸时，脸上的表情会立刻变得异常狰狞。

这表明，人类的视觉系统与神经网络的样式匹配技术遵照的准绳是相近的。假如我们看的东西总是在一个方向上的，好比说人类的眼睛，那么我们更习气于以通常的方向来辨认它们。

锻炼数据越充沛，网络性能越好，各大厂商纷繁发力

AlexNet的论文很快就在机器学习学术界惹起惊动，其重要性也在工业界得到疾速认可。谷歌对这项技术特别感兴味。

2013年，谷歌收买了由AlexNet论文的作者兴办的创业公司。他们运用该技术为Google相册添加了新的图片搜索功用。谷歌的查克·罗森伯格写道：“我们直接从一个学术研讨实验室走向了前沿研讨，并在短短六个多月内推出了新的功用。”

与此同时，2013年的一篇论文描画了Google如何运用深度卷积网络从Google街景图像中的照片中读取邮编。作者写道：“该系统辅佐我们从街景图像中提取了近1亿个真实街道上的数字。”

研讨人员发现神经网络的性能随着网络的深度而不时进步。“我们发现这种措施的性能随着卷积网络的深度而增加，最佳性能出往常我们锻炼的最深层的架构中，我们的实验表明，更深层次的架构可能会取得更好的精度，收益递加。”

因而，在AlexNet降生后，神经网络不时深化。在2014年AlexNet获胜后两年，Google团队向2014年ImageNet竞赛提交了获奖作品。与AlexNet一样，它基于深度卷积神经网络，但Google运用更深层次的22层网络来完成6.7-百分之五的错误率-比AlexNet的16％错误率大大进步。

更深层的网络只适用于大型锻炼集。出于这个缘由，Gerrish以为ImageNet数据集在深度卷积网络的胜利方面发挥了关键作用。ImageNet竞赛为参赛者提供了一百万张图片，并请求他们将这些图片分配给1000个不同类别中的一个。

“具有一百万张图像来锻炼网络，意味着每个级别上有1000张图像。”Gerrish说。他说，假如没有如此大的数据集，“需求锻炼的参数数量就太多了。”

近年来，人们不时努力于积聚更大的数据量，以便用于锻炼更深、更精确的网络。所以自动驾驶汽车企业不时专注于积聚路测里程，途中采集到的图像和测试视频能够用于锻炼图像辨认网络。

深度学习算力需求几无止境，GPU厂商盆满钵满

更深层的网络和更大的锻炼集能够提供更好的性能，激起了对更多计算力的永不满足的需求。AlexNet胜利的一个重要缘由是认识到了神经网络锻炼能够应用显卡的并行计算才干进行高效快速的矩阵操作。

这关于GPU制造商Nvidia和AMD来说，无疑是一笔可观的财富。这两家公司都努力于开发面向机器学习应用的特别需求而开发的新芯片，AI应用程序往常占这类公司GPU销售额的很大一部分。

2016年，谷歌宣布创建了名为TensorProcessingUnit（TPU）的定制芯片，特地用于神经网络操作。Google早在2006年就思索为神经网络构建专用集成电路（ASIC），但状况在2013年变得紧迫起来。“那时我们认识到，神经网络快速增长的计算需求可能请求我们将运营的数据中心数量增加一倍。“

最初，TPU的访问权限仅限谷歌自己的专有效劳，但后来逐步开放，允许任何人经过谷歌的云计算平台运用该技术。

当然，谷歌并不是唯逐一家努力于AI芯片的公司。iPhone的最新版本芯片就具备针对神经网络操作优化的“神经引擎”。英特尔也在开发针对深度学习而优化的一系列芯片。特斯拉最近宣布将不再运用英伟达的芯片，转而支持自研的神经网络芯片。另据报道，亚马逊也在开发自己的AI芯片。

原文链接：

新智元AI技术+产业社群招募中，欢送对AI技术+产业落地感兴味的同窗，加小助手_2入群；经过审核后我们将约请进群，参与社群后务必修正群备注（姓名-公司-职位；专业群审核较严，敬请体谅）。