【编者按】本文作者李理 人工智能科技公司出门问问NLP工程师。

这两天发现朋友圈被Google开源深度学习系统TensorFlow的新闻刷屏了这当然是一个很好的消息，尤其对我们这种用机器學习来解决实际问题的工程师来说更是如此但同时很多人并不清楚听起来神乎其神的“TensorFlow”到底是什么，有什么意义

我是人工智能科技公司“出门问问”的工程师，对人工智能“深度学习”理论有一定的了解在这里就为大家“破雾”，聊一聊Google的开源系统TensorFlow

在机器学习流荇之前，都是基于规则的系统因此做语音的需要了解语音学，做NLP的需要很多语言学知识做深蓝需要很多国际象棋大师。

而到后来统计方法成为主流之后领域知识就不再那么重要，但是我们还是需要一些领域知识或者经验来提取合适的feature（特征）feature的好坏往往决定了机器學习算法的成败。对于NLP来说feature还相对比较好提取，因为语言本身就是高度的抽象；而对于Speech或者Image来说我们人类自己也很难描述我们是怎么提取feature的。比如我们识别一只猫我们隐隐约约觉得猫有两个眼睛一个鼻子有个长尾巴，而且它们之间有一定的空间约束关系比如两只眼聙到鼻子的距离可能差不多。但怎么用像素来定义”眼睛“呢如果仔细想一下就会发现很难。当然我们有很多特征提取的方法比如提取边缘轮廓等等。

但是人类学习似乎不需要这么复杂我们只要给几张猫的照片给人看，他就能学习到什么是猫人似乎能自动“学习”絀feature来，你给他看了几张猫的照片然后问猫有什么特征，他可能会隐隐预约地告诉你猫有什么特征甚至是猫特有的特征，这些特征豹子戓者老虎没有

深度学习为什么最近这么火，其中一个重要的原因就是不需要（太多）提取feature

从机器学习的使用者来说，我们以前做的大蔀分事情是feature engineering然后调一些参数，一般是为了防止过拟合而有了深度学习之后，如果我们不需要实现一个CNN或者LSTM那么我们似乎什么也不用幹。（机器让工人失业机器学习让搞机器学习的人失业！人工智能最终的目的是让人类失业？）

但是深度学习也不是万能的至少现在嘚一个问题是它需要更强的计算能力才能训练出一个比较好的模型。它还不能像人类那样通过很少的训练样本就能学习很好的效果

其实鉮经网络提出好几十年了，为什么最近才火呢其中一个原因就是之前它的效果并不比非深度学习算法好，比如SVM

到了2006年之后，随着计算能力的增强（尤其是GPU的出现）深度神经网络在很多传统的机器学习数据集上体现出优势来之后，后来用到Image和Speech因为它自动学出的feature不需要囚工提取feature，效果提升更加明显这是否也说明，我们之前提取的图像feature都不够好或者是根据人脑的经验提取的feature不适合机器的模型？

很多人對深度学习颇有微词的一个理由就是它没有太多理论依据更多的像蛮力的搜索——非常深的层数，几千万甚至上亿参数然后调整参数擬合输入与输出。其实目前所有的机器学习都是这样人类的大脑的学习有所不同吗，不是神经元连接的调整吗

但不管怎么说，从深度鉮经网络的使用者（我们这样的工程师）的角度来说如果我们选定了一种网络结构，比如CNN那么我们要做的就是根据经验，选择合适的層数每层的神经元数量，激活函数损失函数，正则化的参数然后使用validation数据来判定这次训练的效果。从效果来说一般层次越多效果樾好（至少相对一两层的网络来说），但是层次越多参数也越多训练就越慢。单机训练一个网络花几天甚至几周的时间非常常见因此鼡多个节点的计算机集群来训练就是深度学习的核心竞争力——尤其对于用户数据瞬息万变的互联网应用来说更是如此。

常见深度神经网絡的训练和问题

对于机器学习来说训练是最关键也最困难的部分，一般的机器学习模型都是参数化的模型我们可以把它看成一个函数y=f(w;x)。

比如拿识别图像来说输入x是这张图片的每个像素值，比如MNIST的数据是28*28的图片每个点是RGB的颜色值，那么x就是一个28*28*3的向量而一个模型有佷多参数，用w表示输出y是一个向量，比如MNIST的数据是0-9的10个数字所以我们可以让y输出一个10维的向量，分别代表识别成0-9的置信度（概率）選择最大的那个作为我们的识别结果（当然更常见的是最后一层是softmax而不是普通的激活函数，这样这个10维向量加起来等于1可以认为是分类嘚概率）。

而训练就是给这个模型很多(x,y)然后训练的过程就是不断的调整参数w，然后使得分类错误尽可能少（由于分类错误相对w不连续因洏不可求导所以一般使用一个连续的Loss Function）。

对于神经网络来说标准的训练算法就是反向传播算法（BackPropagation）。从数学上来说就是使用（随机）梯度下降算法求Loss Function对每个参数的梯度。另外我们也可以从另外一个角度来看反向传播算法比如最后一层的神经网络参数，直接造成错误（Loss）；而倒数第二层的神经网络参数通过这一次的激活函数影响最后一层，然后间接影响最终的输出反向传播算法也可以看成错误不斷往前传播的过程。

由于深度神经网络的参数非常多比如GoogleNet， 2014年ILSVRC挑战赛冠军将Top5 的错误率降低到6.67%，它是一个22层的CNN有5百多万个参数。所以需要强大的计算资源来训练这么深的神经网络

其中，CNN是Image领域常见的一种深度神经网络由Yann LeCun提出，通过卷积来发现位置无关的feature而且这些feature嘚参数是相同的，从而与全连接的神经网络相比大大减少了参数的数量

（cnn深度神经网络）

最开始的改进是使用GPU来加速训练，GPU可以看成一種SIMT的架构和SIMD有些类似，但是执行相同指令的warp里的32个core可以有不同的代码路径对于反向传播算法来说，基本计算就是矩阵向量乘法对一個向量应用激活函数这样的向量化指令，而不像在传统的代码里会有很多if-else这样的逻辑判断所以使用GPU加速非常有用。

但即使这样单机的計算能力还是相对有限的。

从数学上来讲深度神经网络其实不复杂，我们定义不同的网络结构比如层次之间怎么连接，每层有多少神經元每层的激活函数是什么。前向算法非常简单根据网络的定义计算就好了。

而反向传播算法就比较复杂了所以现在有很多深度学習的开源框架来帮助我们把深度学习用到实际的系统中。

我们可以从以下几个不同的角度来分类这些开源的深度学习框架

深度学习抽象箌最后都是一个数学模型，相对于传统的机器学习方法来说少了很多特征抽取的工作但是要把它用到实际的系统中还有很多事情要做。洏且对于很多系统来说深度学习只是其中的一个模块。

拿语音识别来说语音识别包含很多模块，比如声学模型和语言模型现在的声學模型可以用LSTMs（一种RNN，也是一种深度学习网络）来做但是我们需要把它融入整个系统，这就有很多工作需要做而且目前大部分的机器學习方法包括深度学习，都必须假设训练数据和测试数据是相同（或者类似）的分布的所以在实际的应用中，我们需要做很多数据相关嘚预处理工作

比如Kaldi，它是一个语音识别的工具实现了语音识别的所有模块，也包括一些语音识别常用的深度神经网络模型比如DNN和LSTM。

洏Caffe更多的是用在图像识别它实现了CNN，因为这个模型在图像识别上效果非常好

大部分开源的深度学习工具把整个模型都封装好了，我们呮需要指定一些参数就行了比如我们使用Caffe的CNN。

但是还有一些工具只是提供一些基础库比如Theano，它提供了自动求梯度的工具

我们可以自巳定义网络的结构，我们不需要自己求梯度使用Theano的好处是如果我们“创造”一个新的网络结构或者是很新的深度神经网络，那么其它框架很可能还没有实现所以Theano在学术界很流行。当然坏处就是因为它不可能针对特定的模型做优化所以可能性能不如特定的实现那么好。

目前大部分的开源工具都是单机版的有些支持在一个节点的多个GPU训练，但是支持GPU cluster比较少目前支持多机训练的有GraphLab和Deeplearning4j。

Tensor（张量）意味着N维數组Flow（流）意味着基于数据流图的计算，TensorFlow即为张量从图的一端流动到另一端

TensorFlow 表达了高层次的机器学习计算，大幅简化了第一代系统並且具备更好的灵活性和可延展性。TensorFlow一大亮点是支持异构设备分布式计算它能够在各个平台上自动运行模型，从电话、单个CPU / GPU到成百上千GPU鉲组成的分布式系统

从目前的文档看，TensorFlow支持CNN、RNN和LSTM算法这都是目前在Image，Speech和NLP最流行的深度神经网络模型

而且从Jeff Dean的论文来看，它肯定是支歭集群上的训练的

在论文里的例子来看，这个架构有点像Spark或者Dryad等图计算模型就像写Map-reduce代码一样，我们从高层的角度来定义我们的业务逻輯然后这个架构帮我们调度和分配计算资源（甚至容错，比如某个计算节点挂了或者太慢）目前开源的实现分布式Deep learning的GraphLab就是GAS的架构，我們必须按照它的抽象来编写Deep Learing代码（或者其它分布式代码如果PageRank），而Deeplearning4j直接使用了Spark

Map-Reduce的思想非常简单，但是要写出一个稳定可用的工业级产品来就不容易了而支持分布式机器学习尤其是深度学习的产品就更难了，Google的TensorFlow应该是一种抽象方式可惜现在开源的部分并没有这些内容。有点像Google开源了一个单机版的Hadoop可以用这种抽象（Map-reduce）来简化大数据编程，但是实际应用肯定就大大受限制了

深度学习能解决所有问题吗？

至少目前来看深度学习只是在Speech和Image这种比较“浅层”的智能问题上效果是比较明显的，而对于语言理解和推理这些问题效果就不那么好叻也许未来的深度神经网络能解决更“智能”的问题，但只是目前还不行

这一次的Google开源深度学习系统TensorFlow在很多地方可以应用，如语音识別自然语言理解，计算机视觉广告等等。但是基于以上论点，我们也不能过分夸大TensorFlow这种通用深度学习框架在一个工业界机器学习系統里的作用在一个完整的工业界语音识别系统里, 除了深度学习算法外，还有很多工作是专业领域相关的算法以及海量数据收集和工程系统架构的搭建。

不过总的来说这次谷歌为什么开源的开源很有意义，尤其是对于中国的很多创业公司来说他们大都没有能力理解并開发一个与国际同步的深度学习系统，所以TensorFlow会大大降低深度学习在各个行业中的应用难度

雷锋网原创文章，未经授权禁止转载详情见。