残差网络性能机制 ResNet、DenseNet及网络结构应用

       如图是ResNet的核心结构，残差网络以块（block）为单位，每个block由一系列的层和一个短路链接，短路链接将模块的输入和输出连接在一起，然后在元素层面上进行加（add），相当于跨过中间层，这样做不会产生额外的参数，不会增加计算的复杂度，而且保证加深后网络的性能不会比加深前差。

      在DenseNet中，一个层会和其余所有层相连。这也是它被称为“稠密连接”的原因。这样的话DenseNet的计算量会增加，运行速度也会变慢。DenseNet的主要构建模块是稠密块(dense block)和过渡层〈transition layer)。前者定义了输入和输出是如何连结的，后者则用来控制通道数，使之不过大。

残差稠密网络DenseNet

在DenseNet中，将每一层与其余层密集连接，一个层会和其余所有层相连。这样做的目的是可以确保各层之间的信息流动达到最大。

程序网络结构

用到函数的解释 

tf.layers.conv2d()

input：指需要做卷积的输入图像，要求是一个Tensor，具有[batch,in_height,in_width,in_channels]这样的图像，具体含义是“训练时一个batch的图片数量，图片的高度，图片的宽度，图像通道数”，注意：这是一个四维的Tensor，要求类型为float32和float64之一。

卷积核的个数决定了输出的特征图的个数，也就是特征图的通道数，或者说是卷积后的输出的通道数。一般来说要设成True。但是当卷积层后根由BatchNorm或者InstanceNorm层时，最好设为False，因为归一化层会归一化卷积层输出并且加上自己的bias，卷积层的（如果有）bias就是多余的了。

（2） filters： 整数,输出空间的维数(即卷积中的滤波器数).是个数字。

（3） kernel_size:滤波器的大小，如果是一个整数，则宽高相等。是个数字。

（4）strides：一个整数，或者包含了两个整数的元组/队列，表示卷积的纵向和横向的步长。如果是一个整数，则横纵步长相等。另外， strides 不等于1 和 dilation_rate 不等于1 这两种情况不能同时存在。

（5）padding：定义元素边框与元素内容之间的空间，“valid” 或者 “same”（不区分大小写）。“valid” 表示边缘不填充，"same"表示填充到过滤器可以达到图像边缘，注：在same情况下，只有在步长为1时生成的feature map才会和输入值相等。Padding：在原始照片周围打0的圈数padding规则介绍：valid情况：输出的宽高，same情况：输出的宽高和卷积核没有关系。

（6）data_format：一个字符串,可以是channels_last(默认)或channels_first,表示输入维度的顺序。channels_last对应于具有形状(batch, height, width, channels)的输入,而channels_first对应于具有形状(batch, channels, height, width)的输入.

（7）dilation_rate：2个整数的整数或元组/列表,指定用于扩张卷积的扩张率.可以是单个整数,以指定所有空间维度的相同值.目前,指定任何dilation_rate值！= 1与指定任何步幅值！= 1都不相容.

（8）activation：激活功能,将其设置为“None”以保持线性激活.

（9）use_bias：Boolean,该层是否使用偏差. 如果 use_bias 是 True（且提供了bias_initializer），则一个偏差向量会被加到输出中。

（10）kernel_initializer：卷积内核的初始化程序.

（11）bias_initializer：偏置向量的初始化器,如果为None,将使用默认初始值设定项.

（12）kernel_regularizer：卷积内核的可选正则化器.

（13）bias_regularizer：偏置矢量的可选正则化器.

（14）activity_regularizer：输出的可选正则化函数.

（15）kernel_constraint：由Optimizer更新后应用于内核的可选投影函数(例如,用于实现层权重的范数约束或值约束).该函数必须将未投影的变量作为输入,并且必须返回投影变量(必须具有相同的形状).在进行异步分布式培训时,使用约束是不安全的.

（16）trainable：Boolean,如果为True,还将变量添加到图集合GraphKeys.TRAINABLE_VARIABLES中(请参阅参考资料tf.Variable).

（17）name：字符串,图层的名称.

tf.layers.batch_normalization()

BN操作就是批标准化，标准化使数据都服从正态分布，加快模型的训练速度，平稳收敛，缓解DNN训练中的梯度消失问题。