1、第8章 8.1 人工神经网络发展概况8.2 神经网络基本概念8.3 前馈神经网络8.4 反馈网络模型Hopfield网络第8章 神经网络模式识别法8.1 人工神经网络发展概况人工神经网络(Artificial Neural Networks，ANN)： 简称神经网络。模拟人脑神经细胞的工作特点：与目前按串行安排程序指令的计算机结构截然不同。* 单元间的广泛连接；* 并行分布式的信息存贮与处理；* 自适应的学习能力等。优点： (1) 较强的容错性;(2) 很强的自适应学习能力；(3) 可将识别和若干预处理融为一体进行； (4) 并行工作方式； (5) 对信息采用分布式记忆，具有鲁棒性。四个发展阶
2、段： 第一阶段：启蒙期，始于1943年。 形式神经元的数学模型提出。 第二阶段：低潮期，始于1969年。 感知器(Perceptions)一书出版，指出局限性 。第三阶段：复兴期，从1982年到1986年。 Hopfield的两篇论文提出新的神经网络模型； 并行分布处理出版，提出反向传播算法。 第四个阶段：1987年至今，趋于平稳。 回顾性综述文章“神经网络与人工智能” 。8.2 神经网络基本概念8.2.1 生物神经元1生物神经元的结构细胞体、树突、轴突和突触。 2生物神经元的工作机制兴奋和抑制两种状态。 抑制状态的神经元由树突和细胞体接收传来的兴奋电位不应期产生输出脉冲输入兴奋总 量超过阈值
3、神经元被激发进入兴奋状态由突触传递给其它神经元8.2.2 人工神经元及神经网络人工神经元：生物神经元的简化模拟。人工神经元间的互连：信息传递路径轴突-突触-树突的简化；连接的权值：两个互连的神经元之间相互作用的强弱。 图8.2 人工神经元模型接收的信息(其它神经元的输出) 互连强度 作比较 的n维输入向量X 输出 输出函数 神经元的动作： 输出函数 f：也称作用函数，非线性。 阈值型S型伪线性型f 为阈值型函数时：设 ，点积形式：式中，8.2.3 神经网络的学习学习： 同一个训练集的样本输入输出模式反复作用于网络，网络按照一定的训练规则自动调节神经元之间的连接强度或拓扑结构，使实际输出满足期望
4、的要求或者趋于稳定。 实质：1Hebb学习规则典型的权值修正方法： Hebb学习规则、误差修正学习 如果神经网络中某一神经元与另一直接与其相连的神经元同时处于兴奋状态，那么这两个神经元之间的连接强度应该加强。 神经网络的最重要特征之一。 wij(t+1)：修正一次后的某一权值；：学习因子，表示学习速率的比例常数；yj(t)，yi(t)：分别表示t时刻第j个和第i个神经元的状态（输出）。 由 有： 神经元间的连接 2. 学习规则（3）更新权值，阈值可视为输入恒为（1）的一个权值；（1）选择一组初始权值wij(1)；（2）计算某一输入模式对应的实际输出与期望输出的误差；式中，（4）返回 (2) ，
5、直到对所有训练模式网络输出均能满足要求。dj，yj(t)：第j个神经元的期望输出与实际输出；xi(t)：第j个神经元的第i个输入。神经网络的学习体现在：学习因子；权值变化；网络结构变化。8.2.4 神经网络的结构分类分层结构有明显层次，信息流向由输入层到输出层。 前馈网络 没有明显层次，任意两个神经元之间可达，具有输出单元到隐层单元或输入单元的反馈连接 。 反馈网络相互连接结构8.3 前馈神经网络8.3.1 感知器感知器（Perceptron）：FRosenblatt于1957年提出。 感知器结构示意图 * 双层（输入层、输出层）；* 两层单元之间为全互连；* 连接权值可调。 结构特点：* 输
6、出层神经元个数等于类 别数（两类问题时输出层 为一个神经元）。 入模式向量， ，共M类。输出层第j个神经元对应第j个模式类，j：第j个神经元的阈值；wij：输入模式第i个分量与 输出层第j个神经元间的连接权。 令 。取 有输出为 输出单元对所有输入数值加权求和，经阈值型输出函数产生一组输出模式。 M类问题判决规则( 神经元的输出函数) 为* 正确判决的关键：输出层每个神经元必须有一组合适的权值。 * 感知器采用监督学习算法得到权值；* 权值更新方法：学习规则。 算法描述第一步：设置初始权值wij(1)，w(n+1)j(1)为第j个神经元的阈值。第二步：输入新的模式向量。第三步：计算神经元的实际
7、输出。第k次入的模式向量Xk，与第j个神元相的向量第j个神经元的实际输出为第四步：修正权值。dj：第j个神经元的期望输出。第五步：转到第二步。当全部学习样本都能正确分类时，学习过程结束。 经验证明，当随k的增加而减小时，算法一定收敛。8.3.2 BP网络BP网络：采用BP算法（Back-Propagation Training Algorithm） 的多层感知器。 误差反向传播算法认识最清楚、应用最广泛。性能优势：识别、分类1多层感知器 针对感知器学习算法的局限性：模式类必须线性可分。输入层第一隐层第二隐层输出层中间层为一层或多层处理单元；前馈网络；结构：只允许一层连接权可调。 2BP算法两个
8、阶段正向传播阶段：逐层状态更新反向传播阶段：误差BP算法的学习过程 设：某层任一神经元j的 输入为netj，输出为yj； 相邻低一层中任一 神经元i的输出为yi。 jiwij：神经元i与j之间的连接权；f()：神经元的输出函数。 S型输出函数：j：神经元阈值； h0：修改输出函数形状的参数。设：输出层中第k个神经元的实际输出为yk，输入为netk； 与输出层相邻的隐层中任一神经元j的输出为yj。 对输入模式Xp，若输出层中第k个神经元的期望输出为dpk，实际输出为ypk。输出层的输出方差 ：若输入N个模式，网络的系统均方差为：当输入Xp时，wjk的修正增量： 其中，由 式得到：令 ，可得输出单
9、元的误差：输出单元的修正增量： 对于与输出层相邻的隐层中的神经元j和该隐层前低一层中的神经元i ： 输出层中神经元输出的误差反向传播到前面各层，对各层之间的权值进行修正。 BP算法步骤：第一步：对权值和神经元阈值初始化：(0，1)上分布的随机数。第二步：输入样本，指定输出层各神经元的希望输出值。 第三步：依次计算每层神经元的实际输出，直到输出层。第四步：从输出层开始修正每个权值，直到第一隐层。 若j是输出层神经元，则：若j是隐层神经元，则：第五步：转到第二步，循环至权值稳定为止。改进的权值修正： 收敛快、权值平滑变化 ：平滑因子，01。 BP算法存在问题：* 存在局部极小值问题；* 算法收敛速
10、度慢；* 隐层单元数目的选取无一般指导原则；* 新加入的学习样本影响已学完样本的学习结果。 * 输出层各单元之间相互用较大的负权值输入对方， 构成正反馈。8.3.3 竞争学习神经网络1竞争学习典型的非监督学习策略。 与二层前馈网络类似；结构特点：输出层具有侧抑制。竞争层：竞争学习网络的核心侧抑制：加强自身* 具有最高输入总和的单元的输出状态为1，其他单 元为0。 2汉明(Hamming)网分类器结构： 仿效生物神经网“中心激励，侧向抑制”的功能。 工作原理：* 每个模式类由一个典型样本代表；* 匹配网计算输入样本与各类典型样本的匹配度，由匹配度 决定匹配网的输出；* 由最大网给出输入样本所在类
11、别号（分类）。 匹配度= n输入样本与典型样本之间的汉明距离 xij：第j典型本的第i个分量；xi ：输入样本的第i个分量；n：样本向量的维数。 输入样本与典型样本越相似：汉明距离越小，匹配度越大。 二值模式向量(分量：+1, -1)分类准则：样本间汉明距离最小。匹配网上层每个神经元的输出：入本第i个分量与匹配网上第j个神元 的接；：第j个神元的。 wij由第j类典型样本的各分量确定。 匹配网输出函数f()：汉明网算法步骤： 第一步：设置权值和神经元阈值。 wlk：最大网中第l个神经元和第k个神经元的连接权；最大网中神经元的阈值为零。 xij：第j典型本的第i个分量；wij：匹配网上层神经元j
12、和输入样本第i个分量的连接权;j ：神经元j的阈值。第三步，进行迭代运算直到收敛。第四步：转到第二步。第二步：输入未知样本，计算匹配网上层各神经元的输出sj， 设置最大网中神经元输出的初始值。 设最大网中第j个神经元在t时刻的输出为y(t)，则 3自组织特征映射神经网络 （SOM网络 ）图8.10 神经元之间相互作用与距离的关系 神经网络中邻近的各神经元通过侧向交互作用彼此相互竞争，自适应地发展成检测不同信号的特殊检测器。 T. Kohonen关于自组织特征映射的含义：输入层：每个神经元与输出层所有神经元连接。 输入连续值模式向量。 SOM网络结构：输出层：广泛连接，格阵形式。 竞争学习算法：
13、由交互作用函数取代简单的侧抑制。 自组织特征映射算法步骤： 第一步：设置初始权值，定义输出层神经元的邻域。 第二步：输入新的模式向量 。第三步：计算输入模式到每个输出层神经元j的距离dj。wij(t)：t时刻输入层神经元i到输出层神经元j之间的连接权。 第四步：选择与输入模式距离最小的输出层神经元 j*。 第五步：修改与j*及其邻域中神经元连接的权值。 设t时刻神经元j*的邻域用 表示，权值修改为：修正参数， ，随t的增加而减小。 第六步：转到第二步。聚类中心：存储在与神经元j*连接的权值上。输出层神经元邻域的选择： 初始邻域选择大些，随算法的进行逐步收缩。8.4 反馈网络模型Hopfield
14、网络寻找记忆：模拟人脑联想记忆功能的神经网络模型。 网络由初始状态向稳定状态演化的过程。初始输出模式向量单层全互连、权值对称的神经网络。结构：Hopfield网络（HNN）离散型HNN(DHNN)：M-P模型二值神经元连续型HNN(CHNN)：神经元为连续时间输出。* 每个神经元的输出通过加权与其余神经元的输入端连接；* 输入模式向量的各分量及神经元的输出值取(+1)或(-1)；* 神经元的个数与输入模式向量的维数相同；* 记忆样本记忆在神经元之间的连接权上。DHNN：* 每个模式有一个 本，是网络的一个稳定输出状态。 设 是第s类的记忆样本。为了存储M个记忆样本，神经元i和神经元j之间的权值
15、wij为 有M 模式，有M个记忆样本，分别是网络的M个稳定输出状态。若神经元i的输入为ui，输出为 ，则式中， 若入一个未知的模式X，网初始状由X决定，根据上述算法，网络从初始状态开始逐步演化，最终趋向于一个稳定状态，即输出一个与未知类别模式相似的记忆样本。 说明：定义网络的能量函数 由某一神经元的状态的变化量 引起的E变化量为式中， ， 。E0，E有界，网络最终可达到一个不随时间变化的稳定状态。算法步骤： 第一步：给神经元的连接权赋值，即存贮记忆样本。 第二步：用输入的未知类别的模式 置网 的初始状。 若 表示神元i在t刻的出状，初始：第三步：迭代算 至算法收敛。 第四步：转到第二步，输入新模式。神经元输出与未知模式匹配最好的记忆样本。 Hopfield神经网络的局限性：* 网络能记忆和正确回忆的样本数相当有限；* 如果记忆中的某一样本的某些分量与别的记忆样本的 对应分量相同，这个记忆样本可能是一个不稳定的平 衡点。 已证明：当记忆不同模式类的样本数小于网络中神经元个数（或模式向量的维数）的0.15倍时，收敛于伪样本的情况才不会发生。 可以利用正交算法消除。结束
