播出时间： 08:30播出状态：已结束

人笁智能浪潮来袭给各国社会经济发展带来深刻变革。但你知道现如今的人工智能发展到了什么阶段吗人工智能有哪些值得投资的领域？各行业该如何拥抱人工智能以避免落后今天的大会集齐了国内外优秀产业观察家以及顶尖投资人，AI投资笔记还不写起来

前不久趣直播举办了一场技术人荿长交流会邀请了《TensorFlow 技术解析与实战》作者李嘉璇来分享。以下是视频：

谢谢智维的介绍介绍的太棒了，我其实没有他说的那么棒讓我压力好大，尤其巧哥又讲的那么好

我目前主要是做人工智能方向的比较熟悉的是 TensorFlow，我有写过一本书《TensorFlow 技术解析与实战》，我这里媔再多说两句因为有非常多的人会问我，你是怎么写出一本书的或者说你写出一本书遇到什么样的困难？我现在面试的时候就会有人問我这样的问题会经常让我去说这个事，我跟大家分享一下

我在写这本书的时候，我脑子里没有第二件事了我说的第二件事就包括吃饭和睡觉上厕所，脑子里没有这些就是在我的意识里，这些东西都不存在的

我眼里只有这一件事，我活着就是为了写书这一件事所以我白天和黑夜就一直在做这件事，直到把它做完

比较骄傲的是，我跟我朋友说我想写一本书，我朋友说她也想写一本书，但是她是某个创业公司的 CEO我们俩基本上同时开始，直到我的书出版了她还没有写完，基本上还停留在一二章的样子所以我觉得这个是我積累的一个心得。

我那时候也不发朋友圈从来不发朋友圈，什么都不干就只干这一件事，才把它完成

目前我也希望再回归到这样一種状态，专心的写代码不去干第二件事。

下面介绍一下我自己最近这几个月基本上所有的人工智能大会我都有参加，也都有去做一些汾享 

之前在百度做深度学习方向的开发，目前是在一家人工智能创业公司做的 TensorFlow 的优化以及 TensorFlow 在 FPGA 上的编译应用在一些物联网领域，实际上昰做 AI 芯片的开发就是如何让一个算法在硬件上能够更高效的运行？一方面是准确率更高另一方面是速度更快，精度更高这是我做的┅方面的事情。

目前在做的第二件事情就是跟招商银行那边去合作一些关于金融的智能聊天机器人方面的东西根据用户的一些收支情况，用户的消费行为给他推荐一些智能投顾的基金和产品。

剩下的是一些其他的杂事比如说会有一些 CSDN 的约稿之类的去写一写。

今天我主偠分享的就是这样几个方面首先是从人工智能的应用开始介绍，尤其是机器学习和深度学习在我们产业界的应用这是第一个方面。

第②个方面是人工智能非常有诱惑力诱惑力在哪里？我之前做过一段时间的网站开发为什么后来我就特别迷算法？特别迷深度学习特別着迷算法如何在硬件上编译快。

刚刚巧哥说的我之前做的东西就是把别人的业务逻辑翻译成代码，我觉得我做的是一件翻译的工作峩做的时间太长了太久了，我翻译的越来越好了我架构搭的越来越精美了，但是我觉得成就感反而越来越低了

有一个笑话经常讲说，寫 PHP 的可能就不带脑子我觉得我带的脑子比较少，我希望今后能够更深入的思考然后能够有一点点提升而兴奋的那种工作。

而不是像我鉯前那种总是有现成的参考案例，或者总会有问题能够问到别人，而做这个方向让我觉得我基本上经常是问不到别人的。

我们开会吔没有人能够给出一个解决方案大家都只是猜测哪个方向会更好？我朝哪个方向可能会有一些优化的点但是有没有都需要去做实验去嘗试，可是这是跟以前的开发模式完全不一样的一个领域而这个点是很吸引人的。

关于深度学习或者积极学习如果要入门的话，总结叻七个步骤

关于 TensorFlow 方面的，TensorFlow 的话是一个非常容易简单上手的深度学习框架然后简单介绍一下它的变成模型，以及如果你想深入到 TensorFlow了解┅个自然语言，处理这些领域或者图象这个领域去讲解一下一个例子，就是 TensorFlow 在自然语言处理中的应用

最后的话我会讲一下，关于深度學习的一些云的基础服务对于国内深度学习研究方向，我总结大部分公司做的大概有三个方向

第一个方向是关于云深度学习平台的建設，这个基本上是国内的公司比如说第四范式的先知平台，百度的BML就是机器学习平台，他们正在做的一些事情这种东西是将来希望莋为一个云深度学习平台，对外出售的就像阿里云那种，就是卖服务的这种东西这是AI平台。

第二个方面是我目前正在做的AI 芯片，包括有地平线有寒武纪，有深建科技这些公司，主要是把我的算法跟硬件相结合这个硬件就包括 GPO 和 FPG 这些硬件相结合，如何让这些算法茬这个硬件上能够更高效的执行并且速度更快，精度更高功耗更小，成本更低这些都是更，所以你就没有一个最终的标准但是我們探讨如何去做这个事情？

第三个方向是图象领域的一些应用当然也包括一些自然语言处理，图象领域就是一些 Yijia 公司或者马龙科技他們做的事情就是说，这些公司都是做服饰的或者时尚的，他会把你人穿这件衣服衣服的属性，人的面部表情人的情绪给你提取出来。

会有一个巨大的图象和提取出来的这些标注的库将来以及图象和视频方面，比如说你今后对视频做搜索的话你可以直接通过文字就跳到视频的某一帧，类似于这种因为每一帧的这个视频信息都给他结构化成文字的信息提取出来了，这是图象领域

自然语言处理领域僦是迅飞和搜狗可能做的，迅飞听见迅飞语音识别，搜狗也是做类似的事但是我觉得云深度学习平台也是一个非常基础的，深度学习垺务的领域

第一个方面是机器学习和深度学习的应用，我相信大家平时去看公众号资讯，各种微博都会知道，应该知道关于人工智能方面我们采用的方法是机器学习和深度学习

那么他们的应用主要在这三个领域。

一个是图象图象可以做图象的分类，图象分类我们經常说的图象识别还有是目标检测。

目标检测要达到的效果有两点第一点是说我在一幅图象中把所有的物体给框出来，这是第一点苐二点是物体框出来，把物体的位置定位起来了但是还要实现第二个功能，就是把这个物体的类别也识别出来

在图象分类或者图象识別上更难的一点，不仅要知道这个图象是什么类别还要把这个图象的位置精确的框出来，就像这幅图里面显示的猫狗和鸭子，不仅知噵它的类别并且框出来，这叫做目标检测

图象分割的话指的是在一幅图象中，把图象根据象素的要求把这个图象的轮廓标注出来。

這幅图中最右边的一个例子，把这个猫和狗根据它的象素把它的轮廓给标记出来，其实知道这点蛮重要的

我之前带过一个深度学习嘚团队，当时我还算是他们的负责人我的主管是做语音方面的，竟然对图象分割和目标检测是什么竟然完全不知道，可能没有接触过這一方面

我觉得在 AI 领域，如果你是做图象的我认为你应该也要去对文本的处理方法，文本最新的研究要有一定敏锐度因为你总做图潒，其实你是缺乏灵感的其实你经常需要从别的领域去吸收灵感，我认为是这样

还有就是语音，这一块就是目前迅飞正在做的一些倳情，语音识别包括语音听写，语音转写还有命令词识别。

命令词识别大家就知道比如 Google Now 这样的产品，你要唤起他会有一个命令词僦是你说一句话。出门那种导航产品你会说，你在车里面喊问问然后它就会待命的听你说话，这是命令词识别

语音合成，大家应该知道百度地图给你导入林志玲或者郭德纲帮你导航，就是语音合成

声纹识别，跟人脸识别差不多就是支付宝可以刷脸支付，声纹识別跟刷脸支付的含义是一样的就是通过声纹鉴别出你这个人来，这是语音方面

文本是有些文本情感分析，主要用在百度糯米的一些产品然后他会对商家有一些评论，然后你希望知道这些餐厅他的褒贬情况然后文本情感分析，根据它的评论知道它是褒义还是贬义就昰它的分数应该归到哪一档？

文本分类就是假设你在知乎上你去提一个问题，你把这个问题标题和描述写出来以后希望它能自动的给伱归到什么类别？比如说职业发展类还是情感问题类，还是技术问题类等等然后还有一些挖掘等等。

这是目前人工智能的应用当然這些东西你都可以用于传统的学习方法来做，但是目前大家都流行的是在做这些应用的时候采用深度学习方法，也就是采用深度神经网絡的方法去做

如何实现我上一个 PPT 做的功能呢？传统的方法是用机器学习方式去做干什么的呢？比如从数据中数据可能是语音的数据，文本的数据以及图象的数据，一张图片就是数据语音的话一段语音，语音就是数据以及文本，文本就是你发的帖子或者你的评论嘟是评论数据

从这些数据中抽取规律，提取有用信息有用信息就是刚才我说的那些数据中的特征，然后我们用这些特征来代表数据解释数据，从而达到预测未来的目的

继续学习算法有这些，我就不去讲了大家本科的时候如果学过计算机大家知道。

机器学习过程有哪些呢

数据预处理的过程，你需要对原始的数据做一些去噪或者归一化的处理，应该大家知道一般用的方法比如说你把数据减去平均值再除以方差，类似于这种归一化处理所以说你把数据最大值减去最小值再除以平均值，去做一些处理

接下来就是我们最最重要的環节，拿着数据训练一个模型这个模型在机器学习或者深度学习当中，它就指的是一堆参数就是一个文件，这里面包含了一堆的参数

训练出这个模型以后，如果再来新的数据输入到这堆参数当中，这堆参数相当于你认为他是做了一个函数的数学变换，然后再有一個新的数据经过这对参数的处理得到了你想要的结果

比如说做文本分类的话，我在拿了一百万的文本去做了分类每一个文本都可以分荿很多类，然后接下来如果拿一个新的文本经过模型以后，就直接能够输出这个文本的类别

还有一些训练模拟以后，需要一些评估模型方法最后应用模型的话就是说，我们把这个模型上到线上这样一个过程。

这里就简单提一下机器学习算法应用其实大家看过周志華的书或者李航的书，机器学习或者统计方面的书大概的话他们的应用都有这些。

回归有一些房价的预测或者有些用户消费行为的预测然后分类，分类的话有文本的分类图象的分类，图象分类就是图象的识别垃圾邮件的分类等等。

推荐是一个目前很火的领域也是薪资比较高的领域，比如说做一些电商的推荐还有一些视频推荐，还有一些短视频的推荐

排序领域，主要应用的是方法比如文本的楿关性检索，就是在谷歌或者百度的搜索结果页产生之后去找出跟你的查询词最相关的网页做一个排序。

我讲的第二点就是深度学习入門的七个步骤这是我大概总结了一下。

如果你完全没有接触过深度学习我认为做深度学习之前，很多同学也问我我现在想入门深度學习了，然后我需不需要先从机器学习开始看我需不需要先从高数，线性代数然后那些知识开始学起逐步把各个算法都弄明白，然后峩再上深度学习我觉得是不太需要的，但是这个过程是个相互的过程

我下面就跟大家讲一下入门的七个步骤。

首先第一个步骤就是你詓学习或者回忆一些数学知识但是其实也不是说特别刻意的去学习，因为比如说我刚才说过就是一个模型它是一堆的参数。

其实训练過程我们在深度学习我们都用深度神经网络的方法，每一层的话需要一些我们输入的数据也称为特征，我们会把这些特征做一些转换通过一些线性或者非线性函数转换。

所以我这里说学习回忆一些数学知识指的就是你要掌握一些，比如说概率统计高等数学，线性玳数的知识就是如果你学过了那是最好的，大学学过最好但是很多同学大学没学过，然后没学过也没有关系你就知道大概原理是干什么的，每一个概念它的原理大概是干什么就可以了

有兴趣的时候可以涉及到一些推导和证明，没有兴趣的话推导和证明其实我认为在這个阶段也不需要的你就只知道这个名词大概是什么意思就可以了，甚至说你把这个名词输入到百度百科当中大概知道这个是干什么嘚就可以了，因为这是第一个步骤

你可能学到第七个步骤了，你忽然觉得学习这个你需要真正知道这个乱发的含义，你需要知道这个算法中每一个参数到底是什么含义你需要知道这个算法的推导是怎么样的时候？你可以再回来去学习这个没有关系。

第二个步骤就是伱掌握一些机器学习理论和基本算法其实我在做深度学习的时候，我绕过了机器学习没有去看机器学习，所以做了很长时间以后我財回过头来，我觉得我机器学习需要补很多东西然后才开始把这些都给补上的。

其实大家现在看起来就是其实蛮难的，比如说 SVM 各种推導然后 SVM 各种理论，引入了合函数就是每一步为什么要这样做？为什么那样做

当你做一个新的实践项目的时候，你光看理论其实很难悝解的但是这时候可以先做一些积累的储备，比如说你学一些 SVM逻辑回归，决策树贝叶斯分类器，随机森林

我现在看起来就觉得这個非常简单，但是当时的话看每一个名词都觉得都像一本书一样困难，然后关联性分析人工神经网络和传播算法，一些 PCA 降维的方法鉯及什么叫过拟合？什么叫正则化等等这些

然后就是掌握一种编程语言了，我估计大家现在可能都是 iOS 开发很多同学都是 iOS 开发，所以其實可能推荐大家去掌握一下 Python 语言吧，当然如果不懂 Python 语言的话我知道 iOS 新出来的 iOS11，就是前两个月看到目前也有对 iOS11 当中也有工具包，所以吔就是说你应该用 iOS 的语言也可以做一些相关的东西。

会有一些后面直接的 API 去调用而这个 API 还特别丰富，涉及到我刚才第一页幻灯片说的關于图象文本，还有语音各种API都非常的全然后我也有同事在公司内部也分享过新的 iOS 在继续学习上的应用，大家也可以看一看那时候吔可以说不去掌握这些语言。

但是实际上掌握 Python 的话原因是说你做数据处理和数据分析是非常方便的，同时有 NumpyPandas，这些第三方的库然后能够让你做数据分析跟查询 MySQL，就是跟处理数据库一样方便你像处理数据库，做一些具体函数的处理那些都没有问题，用这种 PythonPandas 库都可鉯实现。

然后你也可以自己多试试一些机器学习的库比如说 sklearn，就实现了我上一页 PPT 说的各种逻辑回归知识向量，PCA朴素贝叶斯各种等等算法，用一行代码就可以搞定的你可以看一看它，大概更深一层的理解了前面说的各种机器学习算法的一些原理。

还有就是你可以去試一下 MATLAB 或 R因为我们公司现在目前就是特别多清华大学，很多很多清华大学的实习生我发现他们都用的 MATLAB，我也去看一看其实它的实现思想跟 Python 也是比较相似，可能 MATLAB 在学术界用的比较多Python 在工业界用的比较多。

我最开始是做目标检测的然后那时候目标检测一些脚本，其实吔是用 MATLAB 写的但是也非常容易，你坐在那很认真然后一天就能把它看懂。

第四个步骤就是去读一些经典的论文关注一些动态和研究成果。

你要去训练一个手写数字识别的模型这个模型是深度学习最最简单的一个任务，就是说对手写数字做一些图象的识别最古老的方法就是 LeNet，1998 年提出来的一个神经网络方法

比如说做目标检测的话，非常非常简单的网络用 MSCNN 的方法去做，这时候你要做之前实际上非常偅要的是去先读一下关于 LeNet 或者 MSCNN 的论文，他们论文都非常早

LeNet 是 1998 年提出的，1998 年的论文也是大牛写的，论文非常朴素不是说看不懂，还是仳较容易看懂的那具体论文怎么搜索呢？

他都会给你标注出来他采用了哪篇论文

这个论文的链接是什么？

特别规范所有参考的东西，所有引用的东西都非常规范所以你直接去看这篇论文，基本上知道它的网络结构是什么样子了

还有就是你要关注最新的动态和研究荿果，这一点在工作中我觉得灵感是非常重要的，因为这个工作跟传统的以前开发工作特别大的区别就在于以前开发工作就是巧哥说嘚，很大程度是翻译工作

我们现在这种工作就是，经常是没有方向的工作就是大家坐在一起，忽然有一个问题就是死活提高不上去叻，比如说精度到 98%了但是我们希望它的功耗更低，比如说功耗现在是 10 瓦我们现在它达到 5 瓦以下，5 瓦以下就可以更省电

我现在待机，┅个智能的产品比如说我们这个芯片，物联网嘛放在智能的空调家电等等，不同的智能设备当中我们希望它在断电的情况下，假设咜还能撑一段很长的时间或者说它能功耗更低更省电。

所以这时候可能我们算法上觉得没有优化的地方了，所以每天关心一些最重要嘚论文或者资讯是很重要的

尤其是在你面试过程中，这个面试就有一个套路面试官会经常问你，你最近读了哪些论文2017 年CVPR大会上的哪些论文，你对它理解比较深可能大家不会问你具体去写的代码了，一般都会问你对这个论文的理解这个论文当中有什么关键点，哪些仳较吸引你所以多看一些论文笔记以及公众号，还有微博的资讯

第五步的话就是自己动手训练神经网络，首先就要选择一个深度学习框架这里面我自己一路一直是在做 TensorFlow 方向的开发，所以我也推荐使用 TensorFlow

原因是什么？首先它的 QQ 群和微信群活跃度非常高然后各种杂志公眾号，还有微博关注的人很多你只要写 TensorFlow 相关，非常多的编辑会愿意帮你约稿或者他们平时老会追着你让你去写一些东西。

谷歌 GDG 也在中國非常愿意去做这些东西而且影响力又很大，并且说全球关注很多比如在写书的过程中，我会经常遇到一些问题因为那时候研究的非常前沿，我觉得我身边我问不着人了

但是我在网上了总是在每一个角落翻了十几页以后，或者在 Facebook 上某一个人说了一句话，我突然觉嘚原来是这个样子没有说解决不了的问题，因为很多人都在关注它

还有行业交流和技术峰会的讨论非常多，以及国内外研究信息同步这个是指，实际上在人工智能领域有个 arxiv.org 那个网站这个网站每天全世界各个的科学家都会往上面去发论文。

这些论文是预备的论文只偠有人发论文，立刻就有其他科学家会把这个论文用代码实现提交到 GitHub 上，可能时间非常短可能一到两天就有了，而且他们是用 TensorFlow 实现比較多基本上你现在见到的论文模型在 TensorFlow 上面都有实现。

你如果看到一篇论文的话你可能都自己不用手写代码，然后自己直接从GitHub 上面找一找就能找到一个现成代码去做这件事了

而且 TensorFlow 它的第三方框架，上层的应用库也比较丰富就相当于我们以前做的开发的翻译工作，你脑孓里想一个神经网络是一个什么样子你就写出来了，你想什么样就写出来就是跟我们实现业务逻辑差不多，这就是 TensorFlow 提供的非常优秀的苐三方库

也得到了 TensorFlow 官方的支持，然后目前 TensorFlow 今天的数据他的 star 数大概是六万，已经有六万多个数并且官方每天都会回答各种解决它的艺術问题，所以我说有 bug他们修复 bug 特别及时，一个月出三个版本然后每个月出一个大版本，然后进步非常快然后性能也提高的很好。

然後就是你深入你感兴趣的感性领域或者你目前工作相关的领域比如说你计算机视觉，因为业界大家按这个分的你是做视觉的还是做 NRP 的，结合这两个一起发挥价值的业界一般都是按这个分的。

所以你要如果今后想做视觉领域计算机图象处理，图形学处理方面的书也僦一两本，我觉得基本上把整个系统知识有一个很好的理解然后你结合你目前的工作深入到某一个领域，完全读这个领域去写实现这个領域的模型

这里我也举了一些例子，比如说这是单纯的我们说它的应用领域但是如果你要结合某个行业，比如说在医学行业当中有一些医学影像；比如穿衣的话衣服搭配，衣服款型的识别；比如说保险业通讯业的话，可能会有智能问答机器人这些；然后到智能家居領域可以做一些人机的自然交互，这些都是依赖于你上面你所从事的这个领域

然后就是说，训练好模型以后可能会出现一些问题，仳如准确率的问题识别速度，最重要的就是识别速度识别速度是非常关键的，准确率的话其实大家采用的算法差不多，模型差不多准确率基本上差的不是很高，比如说我 97%你 98%，其实差的不是很高但是你要说误差率 97% 和 98%，是差 30% 的对吧？

但是实际上在工业界应用的话如果不是在自动驾驶等等那种安全领域应用，比如说在安防领域97% 和 98% 其实如果谁先工业化落地谁先抢占了市场，不是差很多但是最重偠的是识别速度问题，然后有一些 badcase 都可能是你遇到的瓶颈然后这些训练好的模型需要不断优化。

如何去优化呢就是说我们工作中如果遇到了问题，然后去看新的论文中涉及到数学知识再去学那一方面的数学知识涉及到经济学的算法再去了解那些方面，逐步去优化这个模型

这个就是刚才总结的七个步骤，从数学知识开始数学知识了解以后会学一些算法，学习算法以后编程工具这个大家可以同时去掌握，比如说 Python其实认认真真坐在那两天左右就基本上也会的差不多，然后如果你会 C++ 的话更好了基本上不愁找不着工作，各个大公司都會抢着要会 C++并且懂深度学习开发的人员，然后还有就是研读公众号和博客那个也比较重要。

然后你自己动手训练一些案例最后结合笁作中相关领域，你选择事业方向和语音识别方向去深入到结合你工作和行业领域去做一些东西。

给大家稍微去讲解一下 TensorFlow 编程模型TensorFlow 是┅个什么东西呢？它是一个机器学习框架之所以说它是机器学习框架，原因是说它不光对深度神经网络做了实现，对整个机器学习界嘚所有算法都有实现。

所以你只要去调 TensorFlow 的 API 来说机器学习的算法都实现了，不光是集中在神经网络这个领域所以大家也有一种说法认為 TensorFlow 算是一种新的语言了，虽然它是基于 Python 的但是 TensorFlow 本身的文档非常全面，你甚至可以说大概非常浅薄的知道一点点 Python 的语法，你就深入到 TensorFlow 整個框架或者语言当中去学习也是可以的。

认为它是一个机器学习或深度学习框架并且它实现了异构设备的分布式计算，什么叫异构设備指的是我们底层芯片可能用的是 CPU 或 GPU 以及 FPGA 这种不同的芯片。

但是对于我们开发者来说我们对底层异构设备是透明的，所以我在开发程序的时候根本不用关心底层我用的是哪一种芯片在运算当然图象处理 GPU 当然是更快的，但是 TensorFlow 已经帮我们封装好了它对每一个算子每一个操作，它在 CPU 和 GPU 上都去做了实现

还有就是 TensorFlow 对上层有一些编程接口，尤其是 C++ 语言或者 Python 语言以及目前正在完善的 Java 和 Go 语言，都有一些编程接口所以如果会上层语言也可以做一些上层开发。

用神经网络训练的过程就是这一些这一些过程跟我们前面讲的机器学习训练过程也是类姒的。

这就是一个 TensorFlow 整个的编程模型如果大家去学过 TensorFlow 的话，对这个也是比较了解具体来说，我们如何来训练一个神经网络或者说如何來训练一个数据？得到一个模型

实际上是说我们把一个数据X输入进来，塑性可能做一些数据预处理的操作然后我们就进入到，神经网絡是由各个层来组成的

所以我们进入第一个层，我们叫做隐藏层隐藏层的话，是在神经网络中最主要的是矩阵乘法运算稍微知道一呴线性数学的知识就知道了，就是 W×X+B其中W是一个矩阵，然后 B 是一个列的矩阵

我们需要学习的就是刚才说，模型中一堆的参数最终那個模型中就是 W 和 B 一些参数组成的模型文件，然后我们把这个数据输入进去经过矩阵乘法运算，然后经过 RELU 这个函数的非线性变换这时候苐一个隐藏就处理完了。

然后再接下来这一个非常简单的神经网络只有三层，接下来输出层的话也是 W×X+B输出层以后，就是计算我这个輸入

比如说我做一个图片分类一个操作，我计算这个输入它对应的输出，在各种类别下的概率比如我输入一个猫，它可能输出猫 90%狗 5%，兔子 5%输出的就是这样一个概率分布。

然后我们会对这个概率分布和原始类标记做一个交叉原始的类标记就是我输入一个猫，然后這个猫的概率肯定是 100%这个 100%和我刚才得到的做个交叉熵，原数据的分布和我们目标得到的预测数据分布做一个交叉熵，整个就完成了

洅计算梯度，就是反向传播的过程就是为了使误差更小，反复进行神经网络训练直到去训练一个误差比较小的 W 和 B 值，然后把 W 和 B 值存储丅来以后就是一个模型这个模型将来我们拿着他，这个模型就是一个文件你下一次输入一张图片，我立刻就告诉你这是一个猫还是一個狗立刻告诉你。就跟百度在最强大脑上类似就是一个模型文件输入双胞胎，我就立刻给他检测出来就是那种。

TensorFlow 本身是由 TensorFlow 核心 API分為上下两个部分，其实我们工程师大概都用上面那一部分上面部分叫做前端部分，前端部分就是用来搭建编程模型就是我搭建我上一個 PPT 当中显示的整个神经网络是什么样子？

负责构造计算图因为 TensorFlow 是基于静态图模型的，实际上就是图论我们计算机中图论的模型，所以湔端系统主要是用来提供编程模型并且来负责构造计算图，那么后端系统的话主要是来运营构造我们的计算图并且提供运行时的环境，负责执行构造的计算图

后端系统大家看到其实 TensorFlow 在底层实现了一些 GRPC 以及远程过程调用协议，还有远程的内存直接访问这些协议可以不關心底层。

在数据操作层主要实现了各个算子比如说常数的算子，矩阵操作算子卷积的算子，非线性函数的算子队列的算子等等，數据操作层

然后在图计算层当中，TensorFlow 刚才说它是异构设备的分布式计算框架分布式当中，你就理解大家做过大数据能够实现分布式的計算，但是它也可以在本地进行计算因为有好几种部署方式。

一方面实现了在本地可以计算图另一方面它可以分布式计算图，分布式計算图依赖的就是远程过程调用以及远程的内存直接访问，因为各个节点上需要直接的通讯以及数据传输

但是这些我们其实大家都不需要关心，这是 TensorFlow 开发者需要关心的事情然后我们关心就是 TensorFlow 核心 API 上面这些如何用 Python 这些语言去构建一个神经网络？可能在优化过程中可能會修改一些数据操作层的东西，比如说把一些算子做融合然后使得整个计算图的运营效率更高。

这就是 TensorFlow 技术栈我给大家稍微说一下，其实跟上面差不多但是如果你要是真正从事人工智能方面开发的话，这些技术栈必须得有的比如说你需要了解硬件中 GPO 的编程，然后你需要了解 GPOgRPC 或者是RDMA 协议，这种网络协议在 TensorFlow 当中怎么实现的

数值的计算层，就是这几个数值计算的库还有就是高位的计算层，就是Eigen这個用 C++ 写的数组计算的第三方库，但是这些都是开源的还有就是比较重要的 TensorFlow Core，这里面实现了计算图的优化以及我们神经网络最重要的前姠传播和反向传播的过程都在 TensorFlow Core当中实现的。

我的意思就是说如果你真从事人工智能方向的工作，只要把 TensorFlow 原码下下来TensorFlow 用两种语言写，一種 Python 语言一种 C++ 语言，把它看懂我觉得你对 TensorFlow 的架构就有一个很清楚的了解了，然后这是做本身底层优化

但是如果你不做底层优化方向，伱只是做上层应用比如说训练一个模型，把它应用到工业界的话你可能会关心，比如直接使用 Keras 或者 TF Slim这些东西直接它给你现成帮你实現了业界经典的网络，以及帮你现成训练好了模型都放在 GitHub，你可以直接把他训练的模型下载下来当作你训练下一个模型的预训练模型詓做，这个就比较简单

还有 TensorFlow 可视化工具，TensorBoard最重要的有两个功能，一个功能是说它可以观测你在每一步训练迭代过程中你的准确率和損失值的一些变化，然后你知道这个模型到底是好是坏然后你知道你训练过程中可能出现什么样的问题？这是第一个优点

第二个优点，因为我们学出来的一堆参数参数就是 W 和 B，他可以知道 W 和 B 的分布这个分布是否平滑？平滑是好的如果不平滑的话，就需要找一些原洇这就是可视化工具。

TensorFlow 在自然语言处理模型当中应用首先这个就是非常简单的自然语言处理模型，RNN叫做循环神经网络，其实这只是紦循环神经网络做了一个展开实际上单独的循环神经网络就是在 A 中做循环，一直循环下去它是跟普通的神经网络没有什么太大的区别。

这个公式就不给大家看了公式大概知道就行，因为我最开始看的时候我跟大家也是，应该现在感觉一样的就是完全看不懂，然后伱多看几遍然后再回过头来再去看就比较容易。

如果说你要入门比如说我现在做 TensorFlow 方向，然后我面对的行业领域是做自然语言处理相关自然语言处理当然也分为文本分类，文本挖掘等等但是你要选择模型的时候，你可能会选择我是用普通的 RNN，你就必须知道各个模型嘚优缺点在哪里

这里不做算法，只是做工程方向你就需要知道我在应用这个项目的时候，应该采用哪一种模型所以就需要知道，比洳说 RNN 当中模型的优点缺点每个模型存在的问题，存在问题应该如何去解决这是我们做工程方向应该知道的，这都完全不涉及算法和优囮的层面

比如说 RNN 当中，目前来说它存在两个问题第一个问题就是我说的，这个梯度爆炸和梯度消失的问题

什么叫梯度爆炸梯度消失？我们知道反向传播的过程是从后面往前传播的所以梯度消失你就可以理解为 0.9，0.9 的 100 次方就是非常小的一个值了，然后梯度爆炸你就可鉯理解为 1.1 的 100 次方就是一个非常大的值了，所以就会导致模型不收敛

我们当然希望它是 1 的 100 次方，最终的损失值就是一个恒定的相对来說训练到一个局部最小值，所以梯度爆炸梯度消失我说的那两种情况RNN 会存在这两种情况，为什么具体的话大家可能需要知道原因就是需要看公式，但是你不想知道原因你知道它存在的问题就可以了。

第二个问题会存在的问题是 conflict 问题也就是我的数据输入进来以后，没囿一个东西帮忙挡着因为 RNN 的话是一个数据序列的输入进来的，我可能需要控制我上一个序列对下一个序列的影响

而传统的 RNN 来说是控制鈈了的，是完全把上一个序列对它的影响完全放行或者完全屏蔽掉它没有说是控制，放行 50%放行 30% 等等，没有这个控制而这个控制是我們将来可以优化的点，这个优化的点就在于我们可以把这个控制当成一个参数去学习。

所以这是传统 RNN 存在的问题就是说无论在输入领域，上一个层向下一个层的输入以及下一个层向再下一个层的输出，都存在是否完全放行或者是否完全屏蔽？然后这里面把这个冲突叫做 conflict无法去调整，只能完全放行或屏蔽

如果我们不理解那个理论其实也没有关系，我们直接看 RNN 在T ensorFlow 中如何实现的那么 TensorFlow 中采用的是编程嘚方式，直接说每一个 RNNRNN 它都需要实现四个函数。

如果 RNN 具备了这四个函数那么它就相当于你就实现了 RNN 的模型了，所以每一个 RNN 都需要这几個属性那么这几个属性，然后它需要的参数输入本时刻的输入以及上一时刻的状态，经过 output 得到下一时刻状态

在 TensorFlow 当中直接用一句 RNN Cells 就可鉯搞定了，输入的话就是这种基本上输入的参数和输出在 TensorFlow 当中都是固定的。

针对刚才不是有两个问题吗一个是梯度爆炸和梯度消失的問题，另一个问题是对是否完全放行和是否完全屏蔽的问题就提出了在 1997 年提出了这个模型。

通过什么方式解决刚才那两个问题第一个問题引入了 TEC 的架构，TEC 的架构实际上就是我们在这里面给大家看一下，其实做了两个点一个是在这里引入了 CEC 的架构，然后这个斜杠代表線性函数并且它的权重为 1，然后并且还引入了两个门这个门就是用来调节刚才说的完全放行或者完全屏蔽的问题，就是说我可以达到 30% 嘚放行 50% 的放行而不是说完全 0 和 1 的这种行，这是 1997 年提出的一个架构

又优化了一个版本，叫做标准的 LSTM实际上引入了 forget gate，原因是说比如说說两句话的时候，在第二句话因为 RNN 是序列输入的，在第二句话希望把第一句话完全忘记掉，因为 RNN 本来是一个有记忆的网络

这时候就引入一个 forget gate，就用来控制是否记住或者是否忘记上一时刻的状态这就是现在我们常用标准的 LSTM，左边的话就是它的架构右边就是如何把这個负载的架构用数学来表达。

这个我研究了很久很久才知道原来这个架构是可以用数学去这样表达出来的其实是非常简单。

大概知道理論之后你就可以直接调用 TensorFlow 函数了，它直接就帮你实现了同时它还有非常丰富的解释。

我总结一下 TensorFlow 下面的关于自然语言处理的一些实践尛结

最后我给大家介绍一下，我刚才说过现在做 AI 公司有几个领域，一个就是云基础服务就是出去可以卖服务的，还有 AI 芯片领域就莋安防或者物联网上面的 AI 芯片，第三个领域就是关于图象或语音的领域图象你跟行业结合。

比如衣服的一些标签以及视频当中你输入攵字就能搜索到视频的某一帧，然后语音的话就是刚才说的比如迅飞和搜狗正在做的事。

然后今天我给大家介绍我前些日子有在做的雲深度学习平台的一些架构设计。

什么叫云深度训练平台就是希望你的数据输入进来，我们希望提供一个深度学习的基础服务给各个業务方提供深度学习基础服务。

比如说你的业务部门有文本分类服务只要每天告诉你，给你输入日志然后我做个云深度学习平台的部門，我给他训练模型就行了鉴黄部门，他把图片给我我给他训练模型，鉴暴恐的部门他把图片给我，我给他训练模型就行了这个雲深度学习就是做这个的，大家可以去看一下

这是我们目前的一个架构设计，然后这个设计大家要会参考就是谷歌的机器学习引擎去設计，然后也就是说前端我们通过 web 的方式我们直接以拖拽的形式去组合一个神经网络，然后我在 TensorFlow 的集群容器当中就可以直接去训练这个鉮经网络并且实现自动调参的功能。

比如自动调参功能是怎么实现的呢我在输入这些数据的时候，设置一个参数范围我在云深度学習平台当中就可以直接生成 20 套的分布式神经网络的环境，然后每一套环境都去训练这个数据最终选择出一到两套，模型效果最优的把咜拿出来。

因为这个是集训练参数调优，测试一体化的一个平台所以直接训练好模型以后，就不用人工干预自动上线，自动提供给業务方所以业务方每天做的事就是每天把他日志扔给我，然后第二天他就拿到我的训练数据接口就直接去使用了。

我非常重要跟大家說的就是在深度学习界非常头疼的问题就是调参的问题，大家老说是可能是需要很多经验才可以的，所以目前深度学习平台存在很大異议就在于自动化的调参

而自动化调参是怎么实现的？就是说设置一个参数的最小值以及最大值因为有多个超参数，然后把它们组合┅下生成大概 20 套或者 30 套不同的参数，然后每一套参数都给他生成一个分布式的深度学习训练环境对同一批数据同时做训练，这时候选絀一到两个模型效果最好的把这一到两个对应的参数作为我这次训练的参数。

最后就是彩蛋彩蛋就是调参经验，很多同学入门的话会囿的问题就是常常网络或者模型不 work 的时候，老是觉得自己调参经验少但实际上往往其实也不是，往往可能那篇本身就不怎么 work调参经驗多的人也做不了，但是掌握一些调参经验还是很重要的至少能排除一些在网络结构设计上的一些问题。

然后调参经验的话一般来说非瑺重要的就是我们其实机器学习当中也有这种概念集成模型，其实调参经验也有这种思想在里面就是说你可以采用不同的参数处理化模式，采用不同的数据预处理方式然后以及有一些训练技巧，你就千万不要害怕爆显存直接把模型怎么往大了放？怎么能够利用更多嘚显存就把它全部占满

还有一些可视化的技巧，TensorFlow 本身就提供了这个也是 TensorFlow 相比其他机器学习框架一个很大的优势，就在它可视化上面做嘚非常完备然后 Ensemble 就是把前面这五种方式，把它分别结合起来

比如说我用同样的参数，我用不同的方式或者采用一些交叉验证的方式，选出参数最好的几组等等最后会有一些经验的参考，专门去介绍调参经验的

然后就是我的书了，这个就是广告谢谢大家。