1、第五章卷积神经网络5.1卷积神经网络的生物机理5.2卷积神经网络的原理和结构5.4池化层5.5激活函数深度学习of7515.6空间批量归一化5.7全连接层5.8典型的卷积神经网络5.3卷积层5.9全卷积神经网络5.10图神经网络5.1 卷积神经网络的生物机理第五章卷积神经网络of752l卷积神经网络是基于神经科学的“感受野”（receptivefield）这个概念而提出。l感受野（receptive field）具有局部响应的性质，该特性表明生物视觉神经系统中的神经元只对一定范围内的刺激信号产生响应。视觉皮层对于图像信息的处理都是经过这种局部感受野特性（空间局部性、空间方向性、信息选择性）来进
2、行生物响应的。l神经网络中卷积层的设计用于模拟视觉皮层中简单细胞的活动。l复杂细胞的一系列不变性则启发了卷积神经网络中池化单元、跨通道池化策略（如maxout单元）等的设计。深度学习of753第五章卷积神经网络5.2卷积神经网络的原理与结构5.4池化层5.5激活函数5.6空间批量归一化5.7全连接层5.8典型的卷积神经网络5.3卷积层5.9全卷积神经网络5.10图神经网络5.2卷积神经网络的生物机理第五章卷积神经网络of7545.2 卷积神经网络的原理和结构图51典型的分类卷积网络结构第五章卷积神经网络of7555.2 卷积神经网络的原理和结构卷积神经网络发展历程第五章卷积神经网络5.1卷积神
3、经网络的生物机理5.2卷积神经网络的原理和结构5.4池化层5.5激活函数深度学习of7565.6空间批量归一化5.7全连接层5.8典型的卷积神经网络5.3卷积层5.9全卷积神经网络5.10图神经网络第五章卷积神经网络of7575.3 卷积层 卷积1一维卷积通常用来计算信号处理中信号的延迟累积。此时收到的信号为（卷积）：第五章卷积神经网络of7585.3 卷积层 卷积1二维卷积则通常用于数字图像处理中的特征提取，亦称为特征映射（featuremap）。第五章卷积神经网络of7595.3 卷积层 卷积1在神经网络应用中，并不将滤波器进行翻转，而是直接将滤波器与图像进行卷积操作。互相关这样的替代方式
4、被称为互相关函数（cross-correlation）或不翻转卷积。还是沿用卷积这个概念。第五章卷积神经网络of75105.3 卷积层 卷积的变种2零填充（zero padding）改变卷积核的宽度和输出的大小。零填充的种类分为三种：有效（valid）卷积 相同（same）卷积 全（full）卷积。第五章卷积神经网络of75115.3 卷积层 卷积的变种2有效卷积第五章卷积神经网络of75125.3 卷积层 卷积的变种2相同卷积的实现是在输入图的边界进行零填充，该种卷积方式使每一层的输出不因为卷积运算而改变尺寸大小，零填充的尺寸视卷积核的大小决定。相同卷积第五章卷积神经网络of75135.3
5、卷积层 卷积的变种2相同卷积第五章卷积神经网络of75145.3 卷积层 卷积的其他形式3非共享卷积（称为局部连接层）：仍然采用局部连接的网络层结构，但是权重并不共享，即并不横跨位置来共享参数。平铺卷积：将一组不同的卷积核循环使用于每次的卷积操作中。每次在图像上移动后，就依照一组核的排列顺序循环使用不同的卷积核进行卷积运算，在遍历完所有卷积核之后，第一个卷积核又将参与下一次的卷积运算，如此循环，直到遍历完整个输入。第五章卷积神经网络of75155.3 卷积层 卷积的其他形式3转置卷积（transposed convolution），也称作反卷积（deconvolution）：将低维特征映射到高
6、维特征的卷积操作。（a）表示步长为1，没有零填充的二维卷积；（b）表示和其对应的转置卷积，且步长为1，零填充为2。(a)卷积，s=1,p=0(b)反卷积，s=1,p=2卷积与反卷积只是形式上的转置关系，并不是互为逆运算。第五章卷积神经网络of75165.3 卷积层 卷积的其他形式3空洞卷积（atrousconvolutions）称作膨胀卷积（dilatedconvolution）：卷积形式在不增加参数数量的条件下，扩大输出单元的感受野。膨胀率d=2，卷积核为55膨胀率d=3，卷积核为77第五章卷积神经网络of75175.3 卷积层 卷积层4卷积层是深度卷积神经网络中重要的组成部分之一，它最主要
7、的作用就是通过卷积操作提取局部区域的图像特征。在每一个卷积层中，往往会有很多个卷积核，不同的卷积核相当于不同的特征提取器，通过该卷积层中的卷积操作，得到输入图像相应的特征映射（feature map）。主要特点：局部连接：卷积网络中，后一卷积层中的每一个神经元都只和前一卷积层中某个局部窗口内的神经元相连，构成一个局部连接网络。大幅度减少网络中参数的数量。权重共享：卷积层中的每个卷积核对该层中所有的神经元都是相同的，即卷积过程中神经元共享卷积核中的参数。第五章卷积神经网络of75185.3 卷积层 卷积层4一个卷积层通常的结构：第五章卷积神经网络of75195.3 卷积层第五章卷积神经网络of7
8、5205.3 卷积层第五章卷积神经网络of75215.3 卷积层卷积层的映射操作第五章卷积神经网络5.1卷积神经网络的生物机理5.2卷积神经网络的原理和结构5.4池化层5.5激活函数深度学习of75225.6空间批量归一化5.7全连接层5.8典型的卷积神经网络5.3卷积层5.9全卷积神经网络5.10图神经网络第五章卷积神经网络of75235.4 池化层池化（pooling layer）是一种降采样（down sampling）操作，也称作子采样（subsampling layer）作用：对输出的特征映射进行特征选择，降低特征维度，从而减少网络中的参数数量，避免网络出现过拟合的问题。第五章卷积神
9、经网络of75245.4 池化层第五章卷积神经网络of75255.4 池化层典型的池化操作是将每个输入特征映射划分为大小为22的不重叠子区域，然后采用最大池化的方式进行下采样操作，特征映射的大小由44缩减为了22：22的最大池化操作池化可以看作是一个特殊的卷积，其卷积核大小为mm，步长为m，卷积核为max 函数或者mean 函数。第五章卷积神经网络of75265.4 池化层池化层的设计模仿了人类视觉系统对视觉输入对象进行降维（降采样）和抽象的过程，在深度卷积神经网络中，池化层的作用通常有以下三点：特征不变性（feature invariant）。池化操作使网络模型更加关注是否存在某些特征而不是
10、特征所在的空间位置，使特征学习能一定程度的容忍特征的微小位移。特征降维。池化操作的降采样作用，使输入的特征映射在空间范围内进行了维度约减（spatially dimension reduction），让最终的一个元素对应原输入数据的一个子区域，从而使网络模型可以抽取更加广泛的特征。同时也大大减少了下一层输入的参数数量，减小了网络模型训练的开销。池化操作一定程度上可以防止过拟合（overfitting）。第五章卷积神经网络5.1卷积神经网络的生物机理5.2卷积神经网络的原理和结构5.4池化层5.5激活函数深度学习of75275.6空间批量归一化5.7全连接层5.8典型的卷积神经网络5.3卷积层5
11、.9全卷积神经网络第五章卷积神经网络of75285.5 激活函数非线性映射层(non-linearity mapping)层又被称作激活函数（activation function）层，其引入的目的是为了增强卷积神经网络的非线性刻画能力，提高表征或挖掘数据中高层语义特性的能力。在神经科学中，通常只有当神经元所获得的输入信号累积效果超过了某个阈值，这个神经元才能被激活并处于兴奋状态，否则就处于抑制状态。为了模拟这一生物过程，在激活层中，最常用Sigmoid型函数和ReLU函数来进行非线性映射。第五章卷积神经网络of75295.5 激活函数ai为定数是LeakyReLU第五章卷积神经网络5.1卷积
12、神经网络的生物机理5.2卷积神经网络的原理和结构5.4池化层5.5激活函数深度学习of75305.6空间批量归一化5.7全连接层5.8典型的卷积神经网络5.3卷积层5.9全卷积神经网络5.10图神经网络第五章卷积神经网络of75315.6 空间批量归一化在深度卷积神经网络中，通常批量读入数据再进行训练，即网络一次性输入多个样本。实际上，低层网络在训练的时候更新了参数，引起了后面层输入数据分布的变化，而该变化会对网络中提取的特征产生负面影响。例如，网络中间某一层提取的特征映射分布在Sigmoid型激活函数的两侧，那么该层学习到的特征值通过激活函数作用后的区分度很小，所以，需要引入了空间批量归一化
13、来减小因数据分布带来的影响。1.批量归一化(BatchNormalization，BN)的提出第五章卷积神经网络of75325.6 空间批量归一化2.批量归一化模型BN也属于网络的一层。在网络的每一层输入的时候，先插入了一个归一化层，然后再进入网络的下一层。TanhBNFC/CNN第五章卷积神经网络of75335.6 空间批量归一化第五章卷积神经网络of75345.6 空间批量归一化第五章卷积神经网络of75355.6 空间批量归一化第五章卷积神经网络of75365.6 空间批量归一化第五章卷积神经网络of75375.6 空间批量归一化3.BN在CNN中的使用前面介绍的BN操作，是对于一个神经
14、元进行归一化，而不是对一整层网络的神经元进行归一化。那么在CNN中卷积层，我们怎么进行处理呢？假如某一层卷积层有10个特征图，每个特征图的大小是320320，这样就相当于这一层网络有10320320个神经元，如果直接采用BN，就会有10320320个参数、，这样运算量非常大。因此把一整张特征图当做一个神经元进行处理。第五章卷积神经网络of75385.6 空间批量归一化对于卷积神经网络某一层特征图，如果min-batch的批量大小为m，那么网络该层输入数据可以表示为四维张量R mfpq，f为特征图个数，p、q分别为特征图的宽和高。我们可以把每个特征图看成是一个特征处理（一个神经元），因此在使用B
15、N，mini-batch的大小就是mpq，于是对于每个特征图都只有一对可学习参数与。该特征图由原来的z=g(Wu+b)形式变为z=g(BN(Wu)。此处偏置b 的作用已被偏移 替代。第五章卷积神经网络5.1卷积神经网络的生物机理5.2卷积神经网络的原理和结构5.4池化层5.5激活函数深度学习of75395.6空间批量归一化5.7全连接层5.8典型的卷积神经网络5.3卷积层5.9全卷积神经网络5.10图神经网络第五章卷积神经网络of75405.7 全连接层全连接层（fully connected layers）通常作为整个卷积神经网络中的“分类器”。卷积层、池化层和激活函数等操作是将原始数据映射
16、到隐层特征空间，而全连接层的作用是将学习到的特征表示映射到样本的标记空间。Softmax(0.02,0.81,0.35)0.020.810.35第五章卷积神经网络of75415.7 全连接层以经典的VGG-16网络模型为例，对于2242243的输入图像，最后一层卷积层的输出特征映射大小为77512，则可以用卷积核为775124096的全局卷积来得到含有4096个神经元的全连接层。在实际使用中，常常用张量卷积实现全连接层。对前层是卷积层的全连接而言，可以用尺寸为hw 的卷积核进行全局卷积，其中h 和w 分别对应前层的高和宽。第五章卷积神经网络5.1卷积神经网络的生物机理5.2卷积神经网络的原理和
17、结构5.4池化层5.5激活函数深度学习of75425.6空间批量归一化5.7全连接层5.8典型的卷积神经网络5.3卷积层5.9全卷积神经网络5.10图神经网络第五章卷积神经网络of75435.8 典型的卷积神经网络 LeNet51LeNet-5是一个基于卷积神经网络的经典分类模型，根据该模型开发的手写数字识别系统可以识别支票上面的手写数字，该系统在90年代广泛应用于美国的多家银行。LeNet-5网络结构55的卷积核55的卷积核55的卷积核第五章卷积神经网络of75445.8 典型的卷积神经网络 LeNet51实际应用中，卷积层的每一个输出特征映射不是必须依赖于所有的输入特征映射，即不必是全连接
18、的关系。LeNet-5中C3层的连接表输入特征图卷积核选择6个6个3个1个参数共有6*（3*5*5+1）+6*（4*5*5+1）+3*（4*5*5+1）+1*（6*5*5+1）=1516第五章卷积神经网络of75455.8 典型的卷积神经网络AlexNet2AlexNet是一个经典的深度卷积网络模型，它首次使用了很多现代深度卷积网络的技术方法:利用GPU进行并行训练以ReLU作为非线性激活函数引入Dropout防止过拟合进行数据增强以提高模型准确率第五章卷积神经网络of75465.8 典型的卷积神经网络AlexNet2AlexNet网络结构零填充p=2切片核33；步长s=2（重叠池化）两层合并
19、卷积再分开零填充p=1零填充p=2零填充p=1零填充p=1第五章卷积神经网络of75475.8 典型的卷积神经网络1.AlexNet的数据增强（1）随机裁剪：256256的图像中提取五个224224的子块，再做镜像（水平翻转），一张生成10张。（2）对RGB空间做PCA（主成分分析），然后对主成分做一个（0,0.1）的高斯扰动，即对颜色、光照作变换，结果使错误率又下降了1%。第五章卷积神经网络of75485.8 典型的卷积神经网络2.AlexNet局部归一化确保至少一些训练样本对ReLU产生了正输入。第五章卷积神经网络of75495.8 典型的卷积神经网络3.AlexNet的改进VGG：采用连
20、续的几个33的卷积核代替AlexNet网络中较大的卷积核（如1111，55等），VGG16是13个卷积层+3个全连接层叠加而成。2个33的卷积核相当于55的卷积核VGG16第五章卷积神经网络of75505.8 典型的卷积神经网络Inception网络3如果深度卷积神经网络中，卷积层通过增加卷积层的深度来改变网络结构，会带来问题：参数过多出现过拟合、计算复杂度增加、梯度消失等，针对这些缺点，Inception模型被提出来。一个卷积层则包含多个不同大小的卷积操作，这样的卷积层被称作Inception模块。Inception网络是由多个Inception模块和少量的池化层堆叠而成。第五章卷积神经网络
21、of75515.8 典型的卷积神经网络Inception网络3Inception v1版本4组平行的特征提取方式；11、33、55等不同大小的卷积核，特征映射在深度上堆叠连接（concatenate）得出最终的输出特征映射组。Inceptionv1的模块结构目的：减少特征映射的深度，从而提高计算效率，减少训练参数。第五章卷积神经网络of75525.8 典型的卷积神经网络Inception网络3采用2个33的卷积层替代了Inception v1模块中55的卷积操作，既保持了感受野范围，又降低了参数数量。Inceptionv2的模块结构Inception v2版本第五章卷积神经网络of75535.
22、8 典型的卷积神经网络Inception网络3除了采用2个33的卷积层替代55的卷积操作，还使用 连 续 的 n1和1n来替换nn的卷积，以减少计算量和参数量，并保持感受野不变。Inceptionv3的模块结构Inception v3版本用多层的小卷积核来替代大的卷积核.第五章卷积神经网络of75545.8 典型的卷积神经网络Inception网络3Inceptionv4的模块结构Inception v4版本Inceptionv4有三个基本模块第五章卷积神经网络of75555.8 典型的卷积神经网络残差网络4第五章卷积神经网络of75565.8 典型的卷积神经网络残差网络4残差单元结构根据通用
23、近似定理，一个由神经网络构成的非线性单元有足够的能力来逼近原始目标函数或残差函数，但后者更容易学习，并可以从根本上缓解网络梯度弥散（梯度消失）的问题，同时能得到一定的稀疏化。第五章卷积神经网络of75575.8 典型的卷积神经网络残差网络4典型的残差网络第五章卷积神经网络5.1卷积神经网络的生物机理5.2卷积神经网络的原理和结构5.4池化层5.5激活函数深度学习of75585.6空间批量归一化5.7全连接层5.8典型的卷积神经网络5.3卷积层5.9全卷积神经网络5.10图神经网络第五章卷积神经网络of75595.9 全卷积神经网络全卷积神经网络1全卷积神经网络（Fully Convolutio
24、n Networks，FCN）FCN与CNN的核心区别：FCN将CNN末尾的全连接层转化成了卷积层。FCN对输入图像进行像素级分类，解决了语义级别的图像分割问题。全卷积神经网络可以接受任意尺寸的输入图像，并通过反卷积操作对最后一个卷积层上的特征映射进行上采样，使特征映射恢复到与输入图像相同的尺寸，从而可以对每一个像素产生一个预测，同时保留原始输入图像中的空间信息，最后在上采样的特征图上进行逐像素分类。第五章卷积神经网络of7560SegNet2SegNet网络是由剑桥大学团队提出的一个用于图像分割的全卷积神经网络，该网络用于分割自动驾驶场景中的车、马路、行人等，并且精确到像素级别。其主要由两部
25、分组成：编码器（encoder）和解码器（decoder）。SegNet网络结构5.9 全卷积神经网络第五章卷积神经网络of7561SegNet25.9 全卷积神经网络在上采样期间，调用相应编码器层处的最大池化索引以进行上采样。decoder将解析后的信息对应成最终的图像形式，即每个像素都用对应其物体信息的颜色（或者是label）来表示。最后，使用K类softmax分类器来预测每个像素的类别。第五章卷积神经网络of7562U-Net3U-Net网络也采用的编码器-解码器（encoder-decoder）的模式。其最大的特点是将编码中的信息合并到了解码过程中，这个操作相当于融合了图像的浅层特征和
26、深层特征，可以有效地保留原图的边缘结构细节，防止过多的边缘信息的丢失。5.9 全卷积神经网络第五章卷积神经网络of7563U-Net35.9 全卷积神经网络U-Net网络结构第五章卷积神经网络of7564U-Net3镜像扩充5.9 全卷积神经网络在网络做卷积的过程中，由于没有进行零填充（pad），导致输出小于输入。为了使网络的输入与输出的图像一样大，以进行Loss回归。其做法是把输入图像先做镜像操作进行扩大，即四个边做镜像往外翻一下就扩大了图像。第五章卷积神经网络5.1卷积神经网络的生物机理5.2卷积神经网络的原理和结构5.4池化层5.5激活函数深度学习of75655.6空间批量归一化5.7全
27、连接层5.3卷积层5.9全卷积神经网络5.10图卷积神经网络5.8典型的卷积神经网络第五章卷积神经网络of7566图数据结构 15.10 图卷积神经网络在计算机科学中，图是由顶点和边构成的。图在数学上记为以下形式:=(,)，其中V表示图中所有顶点的集合，E是图中所有边的集合，每条边由所连接的两个顶点来表示。图一般采用邻接矩阵或者邻接表存储。第五章卷积神经网络of75675.10 图卷积神经网络(1)邻接矩阵图数据结构用邻接矩阵 A 来存储，对于一个具有 n 个节点的无向图，是一个 nn 的对称阵，如果图中的第 i 个节点 vi 与第 j 个节点 vj 相连，那么矩阵 A 中第 i 行 j 列的
28、元素就记为 1，否则记为 0。并且规定其对角线元素全为 1 第五章卷积神经网络of75685.10 图卷积神经网络(2)度矩阵度矩阵 对于图对于图 G，其度矩阵是一个，其度矩阵是一个 nn 的对角矩阵，其对角线上的对角矩阵，其对角线上的第的第 i 个元素表示了图结构上与第个元素表示了图结构上与第 i 个节点相连的节点总数个节点相连的节点总数(也就是第也就是第 i 个节点的度个节点的度)，即，即，度矩阵，度矩阵 =(2,4,3,3)对于对于第五章卷积神经网络of75695.10 图卷积神经网络第五章卷积神经网络of75705.10 图卷积神经网络 第二种标准化方式为对称标准化，第二种标准化方式为
29、对称标准化，其计算公式为其计算公式为:第五章卷积神经网络of75715.10 图卷积神经网络图卷积网络2 图卷积网络图卷积网络(GCN)是一种新提出的人工神经网络框是一种新提出的人工神经网络框架，架，GCN 具有通过对图结构和节点特征进行学习的能具有通过对图结构和节点特征进行学习的能力。对于一个无向图力。对于一个无向图 =（,）。在图上进行卷积的）。在图上进行卷积的目标是学习目标是学习 些图节点之间的特征信息。些图节点之间的特征信息。图卷积网络输入的信息是节点数据特征以及邻接矩图卷积网络输入的信息是节点数据特征以及邻接矩阵。阵。第五章卷积神经网络of75725.10 图卷积神经网络 在图卷积中，卷积操作的对象是节点。假设需要采在图卷积中，卷积操作的对象是节点。假设需要采样的节点数为样的节点数为n。对节点进行排序，然后以步幅。对节点进行排序，然后以步幅 s 取前取前 n 个节点，这个节点，这 n 个点即为采样节点。个点即为采样节点。（1）节点）节点采样采样第五章卷积神经网络of75735.10 图卷积神经网络第五章卷积神经网络of75745.10 图卷积神经网络（2）卷积）卷积具体地：具体地：感谢聆听
