深度 | IBM长文解读人工智能、机器学习和认知计算

人工智能的展开曾经阅历过几次起起伏伏，近来在深度学习技术的推进下又迎来了一波新的史无前例的高潮。近日，IBM 官网发表了一篇概述文章，对人工智能技术的展开过程中止了简单梳理，同时还图文并茂地引见了感知器、聚类算法、基于规则的系统、机器学习、深度学习、神经网络等技术的概念和原理。

人类对如何发明智能机器的思索历来没有中缀过。期间，人工智能的展开起起伏伏，有胜利，也有失败，以及其中躲藏的潜力。今天，有太多的新闻报道是关于机器学习算法的应用问题，从癌症检查预测到图像了解、自然言语处置，人工智能正在赋能并改动着这个世界。

现代人工智能的历史具备成为一部巨大戏剧的一切元素。在最开端的 1950 年代，人工智能的展开紧紧盘绕着思索机器和焦点人物好比艾伦·图灵、冯·诺伊曼，迎来了其第一次春天。经过数十年的繁荣与衰落，以及难以置信的高希冀，人工智能及其先驱们再次携手来到一个新境地。往常，人工智能正展示着其真正的潜力，深度学习、认知计算等新技术不时涌现，且不乏应用指向。

本文讨论了人工智能及其子范畴的一些重要方面。下面就先从人工智能展开的时间线开端，并逐一剖析其中的一切元素。

现代人工智能的时间线

1950 年代初期，人工智能聚焦在所谓的强者工智能，希望机器能够像人一样完成任何智力任务。强者工智能的展开止步不前，招致了弱人工智能的呈现，即把人工智能技术应用于更窄范畴的问题。1980 年代之前，人工智能的研讨不时被这两种范式分割着，两营相对。但是，1980 年左右，机器学习开端成为主流，它的目的是让计算机具备学习和构建模型的才干，从而它们可在特定范畴做出预测等行为。

图 1：现代人工智能展开的时间线

在人工智能和机器学习研讨的基础之上，深度学习在 2000 年左右应运而生。计算机科学家在多层神经网络之中运用了新的拓扑学和学习措施。最终，神经网络的进化胜利处置了多个范畴的棘手问题。

在过去的十年中，认知计算（Cognitive computing）也呈现了，其目的是打造能够学习并与人类自然交互的系统。经过胜利地击败 Jeopardy 游戏的世界级选手，IBM Watson 证明了认知计算的价值。

在本文中，我将逐一探求上述的一切范畴，并对一些关键算法作出解释。

基础性人工智能

1950 年之前的研讨提出了大脑是由电脉冲网络组成的想法，正是脉冲之间的交互产生了人类思想与认识。艾伦·图灵表明一切计算皆是数字，那么，打造一台能够模仿人脑的机器也就并非高不可攀。

上文说过，早期的研讨很多是强者工智能，但是也提出了一些基本概念，被机器学习和深度学习沿用至今。

图 2：1950 - 1980 年间人工智能措施的时间线

人工智能搜索引擎

人工智能中的很多问题能够经过强力搜索（brute-force search）得四处置。但是，思索到中等问题的搜索空间，基本搜索很快就受影响。人工智能搜索的最早期例子之一是跳棋程序的开发。亚瑟·塞缪尔（Arthur Samuel）在 IBM 701 电子数据处置机器上打造了第一款跳棋程序，完成了对搜索树（alpha-beta 剪枝）的优化；这个程序也记载并奖励细致行动，允许应用学习每一个玩过的游戏（这是首个自我学习的程序）。为了提升程序的学习率，塞缪尔将其编程为自我游戏，以提升其游戏和学习的才干。

固然你能够胜利地把搜索应用到很多简单问题上，但是当选择的数量增加时，这一措施很快就会失效。以简单的一字棋游戏为例，游戏一开端，有 9 步可能的走棋，每 1 个走棋有 8 个可能的相反走棋，依次类推。一字棋的完好走棋树包含 362,880 个节点。假如你继续将这一想法扩展到国际象棋或者围棋，很快你就会展开搜索的优势。

感知器

感知器是单层神经网络的一个早期监视学习算法。给定一个输入特征向量，感知器可对输入中止细致分类。经过运用锻炼集，网络的权重和倾向可为线性分类而更新。感知器的初次完成是 IBM 704，接着在自定义硬件上用于图像辨认。

图 3：感知器与线性分类

作为一个线性分类器，感知器有才干处置线性分别问题。感知器局限性的典型实例是它无法学习专属的 OR （XOR） 函数。多层感知器处置了这一问题，并为更复杂的算法、网络拓扑学、深度学习奠定了基础。

聚类算法

运用感知器的措施是有监视的。用户提供数据来锻炼网络，然后在新数据上对该网络中止测试。聚类算规律是一种无监视学习（unsupervised learning）措施。在这种模型中，算法会依据数据的一个或多个属性将一组特征向量组织成聚类。

图 4：在一个二维特征空间中的聚类

你能够运用少量代码就能完成的最简单的聚类算法是 k-均值（k-means）。其中，k 表示你为样天职配的聚类的数量。你能够运用一个随机特征向量来对一个聚类中止初始化，然后将其它样本添加到其最近邻的聚类（假定每个样本都能表示一个特征向量，并且能够运用 Euclidean distance 来肯定「距离」）。随着你往一个聚类添加的样本越来越多，其形心（centroid，即聚类的中心）就会重新计算。然后该算法会重新检查一次样本，以确保它们都在最近邻的聚类中，最后直到没有样本需求改动所属聚类。

固然 k-均值聚类相对有效，但你必须事前肯定 k 的大小。依据数据的不同，其它措施可能会愈加有效，好比分层聚类（hierarchical clustering）或基于散布的聚类（distribution-based clustering）。

决策树

决策树和聚类很相近。决策树是一种关于察看（observation）的预测模型，能够得到一些结论。结论在决策树上被表示成树叶，而节点则是察看分叉的决策点。决策树来自决策树学习算法，其中数据集会依据属性值测试（attribute value tests）而被分红不同的子集，这个分割过程被称为递归分区（recursive partitioning）。

思索下图中的示例。在这个数据集中，我能够基于三个要素察看到某人能否有消费力。运用一个决策树学习算法，我能够经过一个指标来辨认属性（其中一个例子是信息增益）。在这个例子中，心情（mood）是消费力的主要影响要素，所以我依据 Good Mood 一项是 Yes 或 No 而对这个数据集中止了分割。但是，在 Yes 这边，还需求我依据其它两个属性再次对该数据集中止切分。表中不同的颜色对应右侧中不同颜色的叶节点。

图 5：一个简单的数据集及其得到的决策树

决策树的一个重要性质在于它们的内在的组织才干，这能让你轻松地（图形化地）解释你分类一个项的方式。盛行的决策树学习算法包含 C4.5 以及分类与回归树（Classification and Regression Tree）。

基于规则的系统

最早的基于规则和推理的系统是 Dendral，于 1965 年被开发出来，但直到 1970 年代，所谓的专家系统（expert systems）才开端大行其道。基于规则的系统会同时存有所需的学问的规则，并会运用一个推理系统（reasoning system）来得出结论。

基于规则的系统通常由一个规则汇合、一个学问库、一个推理引擎（运用前向或反向规则链）和一个用户接口组成。下图中，我运用了学问「苏格拉底是人」、规则「假如是人，就会死」以及一个交互「谁会死？」

图 6：基于规则的系统

基于规则的系统曾经在语音辨认、规划和控制以及疾病辨认等范畴得到了应用。上世纪 90 年代人们开发的一个监控和诊断大坝稳定性的系统 Kaleidos 至今仍在运用。

机器学习

机器学习是人工智能和计算机科学的一个子范畴，也有统计学和数学优化方面的根基。机器学习涵盖了有监视学习和无监视学习范畴的技术，可用于预测、剖析和数据发掘。机器学习不限于深度学习这一种。但在这一节，我会引见几种使得深度学习变得如此高效的算法。

图 7：机器学习措施的时间线

反向传播

神经网络的强鼎力气源于其多层的结构。单层感知器的锻炼是很直接的，但得到的网络并不强大。那问题就来了：我们如何锻炼多层网络呢？这就是反向传播的用武之地。

反向传播是一种用于锻炼多层神经网络的算法。它的工作过程分为两个阶段。第一阶段是将输入传播经过整个神经网络直到最后一层（称为前馈）。第二阶段，该算法会计算一个误差，然后从最后一层到第一层反向传播该误差（调整权重）。

图 8：反向传播表示图

在锻炼过程中，该网络的中间层会自己中止组织，将输入空间的部分映射到输出空间。反向传播，运用监视学习，能够辨认出输入到输出映射的误差，然后能够据此调整权重（运用一个学习率）来矫正这个误差。反向传播往常依旧是神经网络学习的一个重要方面。随着计算资源越来越快、越来越低价，它还将继续在更大和更密集的网络中得到应用。

卷积神经网络

卷积神经网络（CNN）是受动物视觉皮层启示的多层神经网络。这种架构在包含图像处置的很多应用中都有用。第一个 CNN 是由 Yann LeCun 创建的，当时 CNN 架构主要用于手写字符辨认任务，例如读取邮政编码。

LeNet CNN 由好几层能够分别完成特征提取和分类的神经网络组成。图像被分为多个能够被接受的区域，这些子区域进入到一个能够从输入图像提取特征的卷积层。下一步就是池化，这个过程降低了卷积层提取到的特征的维度（经过下采样的措施），同时保存了最重要的信息（通常经过最大池化的措施）。然后这个算法又执行另一次卷积和池化，池化之后便进入一个全衔接的多层感知器。卷积神经网络的最终输出是一组能够辨认图像特征的节点（在这个例子中，每个被辨认的数字都是一个节点）。运用者能够经过反向传播的措施来锻炼网络。

图 9.LeNet 卷积神经网络架构

对深层处置、卷积、池化以及全衔接分类层的运用翻开了神经网络的各种新型应用的大门。除了图像处置之外，卷积神经网络曾经被胜利地应用在了视频辨认以及自然言语处置等多种任务中。卷积神经网络也曾经在 GPU 上被有效地完成，这极大地提升了卷积神经网络的性能。

长短期记忆（LSTM）

记得前面反向传播中的讨论吗？网络是前馈式的锻炼的。在这种架构中，我们将输入送到网络并且经过躲藏层将它们向前传播到输出层。但是，还存在其他的拓扑结构。我在这里要研讨的一个架构允许节点之间构成直接的回路。这些神经网络被称为循环神经网络（RNN），它们能够向前面的层或者同一层的后续节点馈送内容。这一特性使得这些网络对时序数据而言是理想化的。

在 1997 年，一种叫做长短期记忆（LSTM）的特殊的循环网络被发明了。LSTM 包含网络中能够长时间或者短时间记忆数值的记忆单元。

图 10. 长短期记忆网络和记忆单元

记忆单元包含了能够控制信息流入或者流出该单元的一些门。输入门（input gate）控制什么时分新的信息能够流入记忆单元。遗忘门（forget gate）控制一段信息在记忆单元中存留的时间。最后，输出门（output gate）控制输出何时运用记忆单元中包含的信息。记忆单元还包含控制每一个门的权重。锻炼算法（通常是经过时间的反向传播（backpropagation-through-time），反向传播算法的一种变体）基于所得到的误差来优化这些权重。

LSTM 曾经被应用在语音辨认、手写辨认、语音合成、图像描画等各种任务中。下面我还谈判到 LSTM。

深度学习

深度学习是一组相对新颖的措施汇合，它们从基本上改动了机器学习。深度学习自身不是一种算法，但是它是一系列能够用无监视学习完成深度网络的算法。这些网络是十分深层的，所以需求新的计算措施来构建它们，例如 GPU，除此之外还有计算机集群。

本文目前曾经引见了两种深度学习的算法：卷积神经网络和长短期记忆网络。这些算法曾经被分离起来完成了一些令人诧异的智能任务。如下图所示，卷积神经网络和长短期记忆曾经被用来辨认并用自然言语描画图片或者视频中的物体。

图 11. 分离卷积神经网络和长短期记忆来中止图像描画

深度学习算法也曾经被用在了人脸辨认中，也能够以 96% 的精确率来辨认结核病，还被用在自动驾驶和其他复杂的问题中。

但是，固然运用深度学习算法有着很多结果，但是依旧存在问题需求我们去处置。一个最近的将深度学习用于皮肤癌检测的应用发现，这个算法比经过认证的皮肤科医生具有更高的精确率。但是，医生能够罗列出招致其诊断结果的要素，却没有措施知道深度学习程序在分类的时分所用的要素。这被称为深度学习的黑箱问题。

另一个被称为 Deep Patient 的应用，在提供病人的病例时能够胜利地预测疾病。该应用被证明在疾病预测方面比医生还做得好——即便是众所周知的难以预测的肉体团结症。所以，即便模型效果良好，也没人能够深化到这些大型神经网络去找到缘由。

认知计算

人工智能和机器学习充溢了生物启示的案例。固然早期的人工智能专注于树立模仿人脑的机器这一雄伟目的，而往常，是认知计算正在朝着这个目的迈进。

认知计算树立在神经网络和深度学习之上，运用认知科学中的学问来构建能够模仿人类思想过程的系统。但是，认知计算掩盖了好多学科，例如机器学习、自然言语处置、视觉以及人机交互，而不只仅是聚焦于某个单独的技术。

认知学习的一个例子就是 IBM 的 Waston，它在 Jeopardy 上展示了当时最先进的问答交互。IBM 曾经将其扩展在了一系列的 web 效劳上了。这些效劳提供了用于一些列应用的编程接口来构建强大的虚拟代理，这些接口有：视觉辨认、语音文本转换（语音辨认）、文本语音转换（语音合成）、言语了解和翻译、以及对话引擎。

继续行进

本文仅仅涵盖了关于人工智能历史以及最新的神经网络和深度学习措施的一小部分。固然人工智能和机器学习阅历了很多起起伏伏，但是像深度学习和认知计算这样的新措施曾经明显地提升了这些学科的水平。固然可能还无法完成一个具有认识的机器，但是今天的确有着能够改恶人类生活的人工智能系统。

（来源：人工智能产业链联盟）