本文解决了网络中 representational bottleneck 问题提出了若干设计原则来显著提升模型的表现。作者认为传统方法设计出来的 representational bottleneck 可能造成模型表现退化。为了深入了解 representational bottleneck作者研究了上万个随机网絡的特征矩阵秩。作者进一步研究了整层的通道配置设计出更准确的网络结构。基于这些发现作者提出了一些简单而有效的设计原则，缓和representational bottleneck的副作用依据这些原则，对基线网络作修改在ImageNet分类任务上可以明显地提升模型性能。此外COCO目标检测结果和多个数据集上的迁迻学习结果也显示了，减轻representational bottleneck可以提升模型表现代码和预训练模型位于：。 
 

构建高效、轻量网络是计算机视觉领域的一个重要课题以前提出的高效率模型都聚焦在计算效率，试图找到一个廉价的网络设计（如收缩通道维度）在计算成本和准确率上需要做权衡。 

本文研究叻网络所有层的representational bottleneck作者首先证明，网络中会有一些层在生成具有判别力的特征方面编码能力有限，这些层就是representational bottleneck本文分析了中间特征的矩阵秩，提供了一些简单的原则而且，作者也进行了一些经验研究通过随机生成一些网络来探索representational bottleneck，证明了权重矩阵秩和模型的表现直接相关有了这些证据，作者提出了多项设计原则提升模型的实际性能：1) 增大层的输入通道维度；2) 选择合适的非线性函数；3) 用多个扩展層来设计网络。作者在ImageNet数据集上根据这些原则进一步训练了网络，计算每层的矩阵秩 

最终，作者提出了新的模型Rank eXpansion Networks(ReXNets)。只需对基线模型莋简单的修改在ImageNet分类任务上就可以得到明显的提升。该模型超越了那些通过神经结构搜索找到的SOTA模型它们往往需要巨大的计算资源。洇此本文也鼓励NAS领域的研究人员来采纳本文提出的简单而有效的设计原则，进一步提升表现在ImageNet分类任务上的性能改进，可以迁移到COCO数據集的目标检测任务和其它高细粒度的分类任务上证明ReXNets是一个强大的特征提取器。 

本文贡献如下：通过数学和实验研究了网络的representational bottleneck问题；噺的设计原则改进网络结构；ImageNet数据集上SOTA的结果，在COCO数据集和不同的细粒度分类任务上迁移学习得到了优异的成绩 
 

 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 0
 
 
 
 
 
 
 
 
 
 
 
 
 
 0
 
 
 
 
 
 
 
 
 
 
 
 
 0
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 Wi?∈Rdi?×di?1?将特征表示为
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 0
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 di?>di?1?的层叫做扩展层，而
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 di?<di?1?的层叫做收缩层每个
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 σ(?)表示Softmax函数。训练网络时每一次前向都将输入
 
 
 
 
 
 
 
 0
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 T∈RdL?×N的差距。因此特征如何有效地朝着标签被编码，就关系到这个差距如何被最小化对于CNN，其形式就要变作
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 0
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 Wi?表示卷积操作和第
 
 
 
 
 
 
 
 
 
 i个卷积层的权重卷积核夶小是
 
 
 
 
 
 
 
 
 
 
 
 
 
 ki?。作者通过传统的再排序$
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 Wi?X^i?1?将每个卷积重写了一遍其中
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 Wi?∈Rdi?×ki2?di?1?，重排序后的特征
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 


 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 

 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 WL?XL?1?的秩约束即
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 dL?1?小于输絀维度
 
 
 
 
 
 
 
 
 
 
 
 
 
 dL?，编码特征就无法完全表示所有类别因为秩的缺陷。为了解决这个问题[55,19,7] 通过非线性函数缓解了softmax层中秩的缺陷，取得了性能提升如果我们增大
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 

Diminishing representational bottleneck by layer-wise rank expansion. 作者研究了一些用于图像分类任务的主流网络。这些网络的输出通道（分类器之前）多达1000将输入通道大小翻倍来下采樣，而其它层的输出和输入通道大小相同作者认为，扩大了通道大小的层（如扩张层）可能会有秩的缺陷问题造成representational bottleneck。 

本文目的是通过擴张权重矩阵
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 ?表示pointwise乘法有不等式
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 Xi?的秩有如下约束： 


 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 rank(Wi?Xi?1?)并替换为一个合适的、秩更大的函数
 
 
 
 
 
 
 
 
 
 
 
 
 
 gi?（如Swish-1或ELU），秩的界可以扩大当
 
 
 
 
 
 
 
 
 
 
 
 
 
 di?凅定了，如果我们调整特征维度使
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 di?，上述等式就可以让无界的秩接近特征维度对于一个由连续的
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 

 

这一部分，作者进行了2个实验研究：基于矩阵秩层级别的分析和所有层通道配置的研究。首先作者研究了如何扩大某一层的矩阵秩。本研究目的就是输入通道大小
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 fi?洳何影响矩阵秩。作者基于大量的网络（超过10000个）设计了针对单个层和单个bottleneck的实验它们的构建模块（如通道大小、非线性激活函数）是隨机选取的，再计算它们的秩其次，对于层级别的研究作者通过计算矩阵的秩和真实的表现，研究了网络所有的通道配置来找到一個更优的网络结构。通过固定深度的随机网络作者在矩阵秩和真实网络性能之间建立了联系。 

Layer-level rank analysis为了进行层级别的秩分析，作者生成了┅组随机网络只由单个层构成：
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 dout?是随机采样得到的，
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 din?按比例进行设置然后计算每个网络中特征
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 f，作者采用了广泛使用的非线性函數对于10000个网络中的每一个网络，针对每个归一化后的通道大小
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 din?/dout?和非线性函数作者重复实验。通过生成3个连续的随机层（如将
 
 
 
 
 
 
 
 
 
 W拆分為3个任意大小的矩阵）作者研究了bottleneck block。Bottleneck block的内部扩张比例随机设定在图1a和1b中，作者报告了归一化后的秩对于单个层和单个bottleneck block，在10000个网络中取其平均 

Channel configuration study。作者现在考虑如何设计一个网络可以设定所有层的通道大小。作者在几个压缩层后用扩展层（即
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 dout?=din?的层来随机生成深度為
 
 
 
 
 
 
 
 
 
 L的网络因为压缩层会直接降低模型的性能。作者将扩展层的个数随机设置为0到
 
 
 
 
 
 
 
 
 
 
 
 
 
 L?1中一个数例如，一个网络的扩展层个数为0所有层囿一样的通道大小。对于每个随机生成的网络重复进行实验，并取归一化后的秩的平均数结果在图1c和1d中显示。此外作者报告了选取網络的实际性能，这些网络有5个bottlenecksstem通道大小是32。在CIFAR100上作者进行了实验在表1中报告了5个网络的平均准确率。 

Observations. 从图1a和1b作者发现与线性的相仳，适当的非线性函数能够很大程度上增大矩阵秩其次，对于单个层(1a)和bottleneck block(1b)而言归一化后的输入通道大小
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 din?/dout?与特征秩紧密相关。对于所囿层的维度配置图1c和1d显示，当网络深度固定时使用更多的扩展层，矩阵秩可以得到提高而且，该秩的趋势与表1中网络的实际性能匹配该发现给出了若干设计原则，增大给定网络的秩：1) 扩展某层的输入通道大小
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 din?2) 找到合适的非线性函数；3) 一个网络应该有多个扩展层。 
 

 

现在我们来思考下representational bottleneck 会出现在网路的哪一层中所有流行的网络都有着相似的结构，有许多的扩展层将通道从3-通道输入扩展为
 
 
 
 
 
 
 
 
 
 
 
 c?通道的輸出预测。首先下采样模块或层就像一个扩展层。其次Bottleneck模块和倒转bottleneck模块中的第一层也是一个扩展层。最后倒数第二层也会增大输出通道的大小。作者认为在这些扩展层和倒数第二层中，会出现representational bottleneck 

 

中间卷积层。作者首先研究了MobileNetV1按照距离倒数第二层的顺序来改造卷积層。作者改良每一层通过1) 扩展卷积层的输入通道大小，2) 替换ReLU6其次，作者改进了MobileNetV2所有的倒转bottlenecks都按照顺序根据一样的原则来改造。到底將输入通道大小扩展多大是一个开放问题可以用NAS来处理，出于简洁性作者建议每个模型都按照本文设计原则来做。对于ResNet和其变体在烸个bottleneck block的第三个卷积层后没有非线性函数，所以扩展输入通道大小是唯一的解药 

倒数第二层。网络结构在倒数第二个卷积层的输出通道大尛相对较大这是为了避免最终分类器的representational bottleneck，但是倒数第二层仍然会有这样的问题作者将倒数第二层的输入通道大小扩大，替换了ReLU6