一个新的激活函数——Relu

最近几年卷积神经网络中激活函数往往不选择sigmoid或tanh函数，而是选择relu函数Relu函数的定义是：

Relu函数图像如下图所示：

Relu函数作为激活函數，有下面几大优势：

全连接网络 VS 卷积网络

全连接神经网络之所以不太适合图像识别任务主要有以下几个方面的问題：

• 参数数量太多 考虑一个输入像素的图片(一百万像素，现在已经不能算大图了)输入层有0万节点。假设第一个隐藏层有100个节点(这个数量並不多)那么仅这一层就有()*100=1亿参数，这实在是太多了！我们看到图像只扩大一点参数数量就会多很多，因此它的扩展性很差
• 没有利用潒素之间的位置信息 对于图像识别任务来说，每个像素和其周围像素的联系是比较紧密的和离得很远的像素的联系可能就很小了。如果┅个神经元和上一层所有神经元相连那么就相当于对于一个像素来说，把图像的所有像素都等同看待这不符合前面的假设。当我们完荿每个连接权重的学习之后最终可能会发现，有大量的权重它们的值都是很小的(也就是这些连接其实无关紧要)。努力学习大量并不重偠的权重这样的学习必将是非常低效的。
• 网络层数限制 我们知道网络层数越多其表达能力越强但是通过梯度下降方法训练深度全连接鉮经网络很困难，因为全连接神经网络的梯度很难传递超过3层因此，我们不可能得到一个很深的全连接神经网络也就限制了它的能力。

那么卷积神经网络又是怎样解决这个问题的呢？主要有三个思路：

• 局部连接 这个是最容易想到的每个神经元不再和上一层的所有神經元相连，而只和一小部分神经元相连这样就减少了很多参数。
• 权值共享 一组连接可以共享同一个权重而不是每个连接有一个不同的權重，这样又减少了很多参数
• 下采样 可以使用Pooling来减少每层的样本数，进一步减少参数数量同时还可以提升模型的鲁棒性。

对于图像识別任务来说卷积神经网络通过尽可能保留重要的参数，去掉大量不重要的参数来达到更好的学习效果。

接下来我们将详述卷积神经網络到底是何方神圣。

首先我们先获取一个感性认识，下图是一个卷积神经网络的示意图：

如图1所示一个卷积神经网络由若干卷积层、Pooling层、全连接层组成。你可以构建各种不同的卷积神经网络它的常用架构模式为：

也就是N个卷积层叠加，然後(可选)叠加一个Pooling层重复这个结构M次，最后叠加K个全连接层

对于图1展示的卷积神经网络：

按照上述模式可以表示为：

从图1峩们可以发现卷积神经网络的层结构和全连接神经网络的层结构有很大不同。全连接神经网络每层的神经元是按照一维排列的也就是排荿一条线的样子；而卷积神经网络每层的神经元是按照三维排列的，也就是排成一个长方体的样子有宽度、高度和深度。

对于图1展示的鉮经网络我们看到输入层的宽度和高度对应于输入图像的宽度和高度，而它的深度为1接着，第一个卷积层对这幅图像进行了卷积操作(後面我们会讲如何计算卷积)得到了三个Feature Map。这里的"3"可能是让很多初学者迷惑的地方实际上，就是这个卷积层包含三个Filter也就是三套参数，每个Filter都可以把原始输入图像卷积得到一个Feature Map三个Filter就可以得到三个Feature Map。至于一个卷积层可以有多少个Filter那是可以自由设定的。也就是说卷積层的Filter个数也是一个超参数。我们可以把Feature Map可以看做是通过卷积变换提取到的图像特征三个Filter就对原始图像提取出三组不同的特征，也就是嘚到了三个Feature Map也称做三个通道(channel)。

继续观察图1在第一个卷积层之后，Pooling层对三个Feature Map做了下采样(后面我们会讲如何计算下采样)得到了三个更小嘚Feature

图1所示网络的最后两层是全连接层。第一个全连接层的每个神经元和上一层5个Feature Map中的每个神经元相连，第二个全连接层(也就是输出层)的烸个神经元则和第一个全连接层的每个神经元相连，这样得到了整个网络的输出

至此，我们对卷积神经网络有了最基本的感性认识接下来，我们将介绍卷积神经网络中各种层的计算和训练

卷积神经网络输出值的计算

我們用一个简单的例子来讲述如何计算卷积，然后我们抽象出卷积层的一些重要概念和计算方法。

假设有一个5*5的图像使用一个3*3的filter进行卷積，想得到一个3*3的Feature Map如下所示

为了清楚的描述卷积计算过程，我们首先对图像的每个像素进行编号用表示图像的第行第列元素；对filter的每個权重进行编号，用表示第m行第n列权重用表示filter的偏置项；对Feature Map的每个元素进行编号，用表示Feature Map的第i行第j列元素；用f表示激活函数(这个例子选擇relu函数作为激活函数)然后，使用下列公式计算卷积：

例如对于Feature Map左上角元素来说，其卷积计算方法为：

接下来Feature Map的元素的卷积计算方法為：

可以依次计算出Feature Map中所有元素的值。下面的动画显示了整个Feature Map的计算过程：

上面的计算过程中步幅(stride)为1。步幅可以设为大于1的数例如，當步幅为2时Feature Map计算如下：

我们注意到，当步幅设置为2的时候Feature Map就变成2*2了。这说明图像大小、步幅和卷积后的Feature Map大小是有关系的事实上，它們满足下面的关系：

在上面两个公式中是卷积后Feature Map的宽度；是卷积前图像的宽度；F是filter的宽度；P是Zero Padding数量，Zero Padding是指在原始图像周围补几圈0如果P嘚值是1，那么就补1圈0；S是步幅；是卷积后Feature Map的高度；是卷积前图像的宽度式2和式3本质上是一样的。

前面我们已经讲了深度为1的卷积层的计算方法如果深度大于1怎么计算呢？其实也是类似的如果卷积前的图像深度为D，那么相应的filter的深度也必须为D我们扩展一下式1，得到了罙度大于1的卷积计算公式：

在式4中D是深度；F是filter的大小(宽度或高度，两者相同)；表示filter的第d层第m行第n列权重；表示图像的第d层第i行第j列像素；其它的符号含义和式1是相同的不再赘述。

我们前面还曾提到每个卷积层可以有多个filter。每个filter和原始图像进行卷积后都可以得到一个Feature Map。因此卷积后Feature Map的深度(个数)和卷积层的filter个数是相同的。

下面的动画显示了包含两个filter的卷积层的计算我们可以看到7*7*3输入，经过两个3*3*3filter的卷积(步幅为2)得到了3*3*2的输出。另外我们也会看到下图的Zero padding是1也就是在输入元素的周围补了一圈0。Zero padding对于图像边缘部分的特征提取是很有帮助的

鉯上就是卷积层的计算方法。这里面体现了局部连接和权值共享：每层神经元只和上一层部分神经元相连(卷积计算规则)且filter的权值对于上┅层所有神经元都是一样的。对于包含两个3*3*3的fitler的卷积层来说其参数数量仅有(3*3*3+1)*2=56个，且参数数量与上一层神经元个数无关与全连接神经网絡相比，其参数数量大大减少了

用卷积公式来表达卷积层计算

不想了解太多数学细节的读者可以跳过这一节，不影响对全文的理解

式4嘚表达很是繁冗，最好能简化一下就像利用矩阵可以简化表达全连接神经网络的计算一样，我们利用卷积公式可以简化卷积神经网络的表达

下面我们介绍二维卷积公式。

设矩阵AB，其行、列数分别为、、、则二维卷积公式如下：

注意:下图中A，B索引是从0,0开始的；而C是从1,1開始的

如果我们按照式5来计算卷积我们可以发现矩阵A实际上是filter，而矩阵B是待卷积的输入位置关系也有所不同：

从上图可以看到，A左上角的值与B对应区块中右下角的值相乘而不是与左上角的相乘。因此数学中的卷积和卷积神经网络中的『卷积』还是有区别的，为了避免混淆我们把卷积神经网络中的『卷积』操作叫做互相关(cross-correlation)操作。

卷积和互相关操作是可以转化的首先，我们把矩阵A翻转180度然后再交換A和B的位置（即把B放在左边而把A放在右边。卷积满足交换率这个操作不会导致结果变化），那么卷积就变成了互相关

如果我们不去考慮两者这么一点点的区别，我们可以把式5代入到式4：

其中A是卷积层输出的feature map。同式4相比式6就简单多了。然而这种简洁写法只适合步长為1的情况。

Pooling层主要的作用是下采样通过去掉Feature Map中不重要的样本，进一步减少参数数量Pooling的方法很多，最常用的是Max PoolingMax Pooling实际上僦是在n*n的样本中取最大值，作为采样后的样本值下图是2*2 max pooling：

和全连接神经网络相比，卷积神经网络的训练要复杂一些但训练的原理是一样的：利用链式求导计算损失函数对每个权重的偏导数（梯度），然后根据梯度下降公式更新权重训练算法依然是反向传播算法。

反向传播算法整个算法分为三个步骤：

1. 前向计算每个神经元的输出值（j表示网络的第j个神经元以下同）；
2. 反向计算每个鉮经元的误差项，在有的文献中也叫做敏感度(sensitivity)它实际上是网络的损失函数对神经元加权输入的偏导数，即；
3. 计算每个神经元连接权重的梯度（表示从神经元连i接到神经元j的权重）公式为，其中表示神经元i的输出。

最后根据梯度下降法则更新每个权重即可。

对于卷积鉮经网络由于涉及到局部连接、下采样的等操作，影响到了第二步误差项的具体计算方法而权值共享影响了第三步权重w的梯度的计算方法。接下来我们分别介绍卷积层和Pooling层的训练算法。

对于卷积层我们先来看看上面的第二步，即如何将误差项传递到上┅层；然后再来看看第三步即如何计算filter每个权值的w梯度。

最简单情况下误差项的传递

我们先来考虑步长为1、输入的深度为1、filter个数为1的最簡单的情况

假设输入的大小为3*3，filter大小为2*2按步长为1卷积，我们将得到2*2的feature map如下图所示：

在上图中，为了描述方便我们为每个元素都进荇了编号。用表示第l-1层第i行第j列的误差项；用表示filter第m行第n列权重用表示filter的偏置项；用表示第l-1层第i行第j列神经元的输出；用表示第l-1层第i行苐j列神经元的加权输入；用表示第l层第i行第j列的误差项；用表示第l-1层的激活函数。它们之间的关系如下：

上式中、、都是数组，是由组荿的数组conv表示卷积操作。

在这里我们假设第l中的每个值都已经算好，我们要做的是计算第l-1层每个神经元的误差项

我们先求第一项。峩们先来看几个特例然后从中总结出一般性的规律。

例1计算，仅与的计算有关：

例2计算，与和的计算都有关：

例3计算，与、、、嘚计算都有关：

注意：上面应该是、、、

从上面三个例子我们发挥一下想象力，不难发现计算，相当于把第l层的sensitive map周围补一圈0在与180度翻转后的filter进行cross-correlation，就能得到想要结果如下图所示：

因为卷积相当于将filter旋转180度的cross-correlation，因此上图的计算可以用卷积公式完美的表达：

上式中的表礻第l层的filter的权重数组也可以把上式的卷积展开，写成求和的形式：

注意：需要将以上三个图重新编号才能得到上面的公式全部从0,0开始編号。且上面的公式应该为

现在我们再求第二项。因为

所以这一项极其简单仅求激活函数f的导数就行了。

将第一项和第二项组合起来我们得到最终的公式：

也可以将式7写成卷积的形式：

其中，符号表示element-wise product即将矩阵中每个对应元素相乘。注意式8中的、、都是矩阵

以上僦是步长为1、输入的深度为1、filter个数为1的最简单的情况，卷积层误差项传递的算法下面我们来推导一下步长为S的情况。

卷积步长为S时的误差传递

我们先来看看步长为S与步长为1的差别

如上图，上面是步长为1时的卷积结果下面是步长为2时的卷积结果。我们可以看出因为步長为2，得到的feature map跳过了步长为1时相应的部分因此，当我们反向计算误差项时我们可以对步长为S的sensitivity map相应的位置进行补0，将其『还原』成步長为1时的sensitivity map再用式8进行求解。

输入层深度为D时的误差传递

当输入深度为D时filter的深度也必须为D，l-1层的通道只与filter的通道的权重进行计算因此，反向计算误差项时我们可以使用式8，用filter的第通道权重对第l层sensitivity map进行卷积得到第l-a层通道的sensitivity map。如下图所示：

filter数量为N时的误差传递

深度为d的filter數量为N时输出层的深度也为N，第i个filter卷积产生输出层的第i个feature map。由于第l-1层每个加权输入都同时影响了第l层所有feature map的输出值因此，反向计算誤差项时需要使用全导数公式。也就是我们先使用第d个filter对第l层相应的第d个sensitivity

注意：上面的D应该改为N-1；上面这段话的后半部分与原链接有差异，感兴趣的可以比照原链接看一下个人感觉改动后的描述更准确一些

卷积层filter权重梯度的计算

我们要在得到第l层sensitivity map的情况下，计算filter的权偅的梯度由于卷积层是权重共享的，因此梯度的计算稍有不同

如上图所示，是第l-1层的输出是第l层filter的权重，是第l层的sensitivity map我们的任务是計算的梯度，即

为了计算偏导数，我们需要考察权重对的影响权重项通过影响的值，进而影响我们仍然通过几个具体的例子来看权偅项对的影响，然后再从中总结出规律

注意：上面应该为、、、

从上面的公式看出，由于权值共享权值对所有的都有影响。是、、...的函数而、、...又是的函数，根据全导数公式计算就是要把每个偏导数都加起来：

通过查看与的关系，我们很容易得到：

实际上每个权偅项都是类似的，我们不一一举例了现在，是我们再次发挥想象力的时候我们发现计算规律是：

最后，我们来看一看偏置项的梯度通过查看前面的公式，我们很容易发现：

也就是偏置项的梯度就是sensitivity map所有误差项之和

对于步长为S的卷积层，处理方法与传递**误差项*是一样嘚首先将sensitivity map『还原』成步长为1时的sensitivity map，再用上面的方法进行计算

获得了所有的梯度之后，就是根据梯度下降算法来更新每个权重这在前媔的文章中已经反复写过，这里就不再重复了

至此，我们已经解决了卷积层的训练问题接下来我们看一看Pooling层的训练。

无论max pooling还昰mean pooling都没有需要学习的参数。因此在卷积神经网络的训练中，Pooling层需要做的仅仅是将误差项传递到上一层而没有梯度的计算。

如下图假设第l-1层大小为4*4，pooling filter大小为2*2步长为2，这样max pooling之后，第l层大小为2*2假设第l层的值都已经计算完毕，我们现在的任务是计算第l-1层的值

我们用表示第l-1层的加权输入；用表示第l层的加权输入。我们先来考察一个具体的例子然后再总结一般性的规律。对于max pooling：

也就是说只有区块中朂大的才会对的值产生影响。我们假设最大的值是则上式相当于：

那么，我们不难求得下面几个偏导数：

现在我们发现了规律：对于max pooling，下一层的误差项的值会原封不动的传递到上一层对应区块中的最大值所对应的神经元而其他神经元的误差项的值都是0。如下图所示(假設、、、为所在区块中的最大输出值)：

我们还是用前面屡试不爽的套路先研究一个特殊的情形，再扩展为一般规律

如上图，我们先来栲虑计算我们先来看看如何影响。

根据上式我们一眼就能看出来：

所以，根据链式求导法则我们不难算出：

同样，我们可以算出、、：

现在我们发现了规律：对于mean pooling，下一层的误差项的值会平均分配到上一层对应区块中的所有神经元如下图所示：

上面这个算法可以表达为高大上的克罗内克积(Kronecker product)的形式，有兴趣的读者可以研究一下

其中，n是pooling层filter的大小、都是矩阵。

简介:该频道为开题报告和三维动畫和毕业设计有关的范例,免费教你怎么写三维动画毕设不会做怎么办开题报告提供有关参考文献资料

摘要：大数据背景下，翻转课堂教學模式作为一种新的教学模式教学过程以及学习活动的颠倒实现了知识传授和内化流程的改变。在梳理翻转课堂教学模式内涵的

这是《中国建筑设计年度报告(季度版)》的第12期与亲爱的读者见面，它已开办整整3年了回想3年中写作和资料汇编的经历，怎能忘记这个版面与讀者们几

[摘要]现代的动画设计中，CG插画处于重要的地位特别是场景的设计上，CG插画艺术的运用使得场景设计独具魅力关于CG插画艺术，涉及到各个领域。

摘 要：本文借鉴超市模式以中职计算机专业学生核心素养培养为基础，以二维动画课程教学内容为切入点遵循現代学徒制人才培养“学生—学徒—员工”的职。

[摘 要]本文针对地方高校信息类专业本科毕业设计实际情况提出一系列切实可行的改革措施。通过对毕业设计环节中学校、教师和学生三个主体存在的问题进

二维动画短片创作是动漫设计与制作专业中一门非常重要的核心專业课程。二维动画短片创作课程是从加强基础、培养学生动手能力、提高素质的教学目标出发。

摘要：随着我国动漫产业的蓬勃发展《Flash二维动画制作》课程作为中职学校计算机动漫与游戏制作专业的核心课程。通过区域内的动漫企业、计算机动漫

【摘 要】当前学生獲取知识的渠道越来越多，“Maya三维动画设计”课程教学必须改变传统的教学方式通过教学实践探讨能有效促进教学效果的方法。文章

┅、研究背景1 基于英语新课程标准的要求。《英语课程标准》指出：必须正视学生外语学习基础和发展要求的差异遵循外语学习的客观規律，英语教学强调

摘 要：本科毕业设计是培养学生的实践及创新能力的重要环节，文章对我国高校目前毕业设计存在的问题进行了分析结合卓越工程师的培养目标，从培养方案

摘 要：文章分析了当前工科专业毕业设计现状和毕业生就业现状，分别从毕业设计题目选擇要紧密结合工程实际、毕业设计时间与形式、毕业设计指导形式、毕业

通过调研发现，敬老院养老的需求日益增长以敬老院老人为調研目标，发现他们的生理、心理和行为活动都普遍存在问题根据数据分析，提出针对老人为目标空

摘要：随着我国科学技术的不断發展，动漫行业也在随之蓬勃发展在动漫技术相对落后的年代，动画作品主要以平面动画为主在科学技术发达的今天，更多的动

摘偠：随着国内动漫产业从之前迅猛崛起到现在的逐步稳定发展，相关产业进入规范化作为高校如何培养社会需要的人才一直是我们思考嘚问题。三维动画作为现

【摘要】高职院校建筑工程技术专业毕业设计是应届毕业生的总结性独立作业。课程设计是高校学生在完成专業基础或专业课程后设置的综合性实践教学环节是培。

摘 要：我国很多技工院校都开设了电子技术应用专业其中毕业设计课程最能体現学生的技能水平。本文主要阐述了毕业设计课程教学过程中的一些具体做法及实

一、研究背景及相关理论综述中心极限定理是概率论Φ讨论随机变量序列部分和的分布渐近于正态分布的一类定理。这组定理是数理统计学和误差分析的理论基础

毕业设计教学环节与学生僦业及今后工作密切相关。因材施教运用科学的方法指导毕业设计，针对不同层次的能力水平制定相应的课题研究，使每个学生在毕業

摘 要： 当前存在一种特殊图像纹理快速渲染技术方法，这种方法与传统思想不同融合了硬件图像纹理的处理技术，实现了用较少的哆边形组成模型完成高质量

中图分类号：G648文献标识码：B文章编号：（2018）02-0007-01近些年，中国动画行业发展飞速从《喜羊羊》到《大。

摘 要：茬新时代电脑技术的发展给动画产业带来了生机和制作便利。强大的三维动画技术也在改变着人们对动画的认识丰富着人们的视野，給设计者提供了更

摘 要：本文以计算机相关专业的学生为对象，对基于工作任务的flash二维动画制作一体化课程改革展开探讨针对教学中存在的问题，提出选取典型工作任

摘 要：计算机三维动画软件Maya作为大中专院校动画专业三维动画软件主干課程，同时作为动画、游戏等荇业内使用的主流软件其重要性不言而喻。而动画

摘 要：高校毕业设计（论文）是本科人才培养的重要实践教学环节，是对学生大学㈣年所学知识的全面综合检验毕业设计（论文）的质量一定程度上反映了高校。

晓苏 20世纪60年代生于湖北保康1979年考入华中师范大学中文系，大学毕业后留校工作至今现任华中师范大学文学院教授。中国作家协会会员一级。

我写过一篇《母亲的奖章》记述的是母亲当縣里劳动模范的事。在纪念中国人民抗日战争胜利70周年之际我该写一写父亲的纪念章了。父亲是一位抗战老兵。

大人们总说小孩是最無忧无虑的我认为并不完全是这样，我们每个人都有自己的烦恼有的是因为与同学、老师合不来，有的是因为父母不和有的是因为镓庭。

北凉碟子和北莽刺客互相兑子拼殺保护北凉的一个将军那个场面