1、第 卷第期计算机集成制造系统 年月 ：收稿日期：；修订日期：。；基金项目：国家自然科学基金资助项目（）；云南省重大科技资助项目（）。：，（），（）基于注意力机制门控循环单元 神经网络的智能多工序工艺参数关联预测阴艳超，张曦，唐军，张万达（昆明理工大学 机电工程学院，云南昆明 ；云南中烟工业有限责任公司，云南昆明 ）摘要：鉴于流程制造工序间能质流耦合严重，性能指标影响因素众多，工艺参数时序特征显著，现有制造模式下难以精准预测产品质量，在分析流程制造工艺性能指标多维、强时序、关联耦合特征的基础上，提出一种基于注意力机制门控循环单元 神经网络（）的多工序耦合参数关联预测方法。首先采用互信息方法筛选多
2、态异构生产数据作为输入，建立 自编码器，通过无监督学习对过程数据、工艺参数、操作参数等进行时序特征提取，同时引入时序注意力机制提取不同工序的耦合关联特征并进行向量嵌入，为不同工序的工艺参数分配注意力权重。在此基础上，设计 网络自学习不同时刻下工艺关联特征对质量性能指标的影响差异，再通过门控循环单元网络对重要的关联特征进行增强，并按照时序特征对单工序预测模型进行聚合，实现多工序时序特征融合，最后通过输出层 神经网络精准预测产品工艺质量。实验表明，有效提高了预测精度，从多工序角度为生产线工序的加工过程控制提供了依据。关键词：流程制造；多工序耦合；注意力机制门控循环单元 神经网络；时序特征融合；关联
3、预测中图分类号：文献标识码：，（，；，）：，（），计算机集成制造系统第 卷 ：；引言流程制造业是国民经济的重要支柱，是我国向制造强国发展的主战场之一，保证其安全高效地生产具有重要的战略意义。与传统离散制造不同，流程式工业生产线中每一条工序的设备特性、工序配方、原材料属性和控制参数等均与生产性能指标有着紧密联系。流程制造过程中分布式装置和设备之间的耦合关系错综复杂，工序间能质流耦合严重，性能指标影响因素众多，工艺参数时序特征显著，产品质量的精准预测已经成为现有制造模式下亟待解决的难题。因此，如何将设备、物料、产品等生产要素实时数据进行交互与融合，实现系统内资源配置和运行的按需响应、快速迭代和动态
4、优化，提升生产活动计划的预见性和联动性，是重塑流程工业智能化生产模式的核心问题。本文从解决智能制造环境下流程制造过程多工序耦合生产过程中的瓶颈 全流程要素的自感知、自计算和自预测出发，为实现流程生产过程精准预测与优化调控提供方法和途径。目前，针对流程型制造业生产过程存在多分布参数、高非线性、强耦合等预测难点及其对生产系统智能化水平的影响，国内外学者开展了大量关于生产过程单元级预测、基于数学模型的质量预测、基于机器学习的智能预测方面的研究。早期生产过程单元级预测方法需要充分了解工业过程的内部机理，将单工序预测单独作为一种状态，在理想或者不考虑外界多方面因素的情况下对质量指标进行预测。等 提出一种
5、带有变化点的状态监视信号方法，用于预测单个生产单元的剩余使用寿命。单元级预测对预测小规模工艺效果较好，然而实际的流程制造生产过程极为复杂，大多流程制造行业生产过程的质量指标受多因素影响，使得工艺数据呈现高维、耦合的关联特征。因此，单元级预测方法很少用于 预 测流 程制 造 多 工 序 的 产 品质量。构建质量预测模型的核心是对关键工艺特征进行深层次挖掘。因此，降维后的预测成为研究流程制造产品质量精准预测的热点 。等 提出 一 种 基 于 多 重 偏 最 小 二 乘（，）的方法，利用高斯混合模型解决了工业热轧机工艺的多模式问题，提高了质量预测的精度；韩敏等 针对高维特征分析中存在的输入变量选择问
6、题，提出一种基于互信息的分步式变量选择质量预测模型；房鑫洋等 针对半导体制造过程中的工艺数据存在高维、复杂关联特性，在数据预处理中采用互信息法对工艺数据进行特征筛选，提出一种基于注意力机制双向长短时记忆网络（，）的质量预测方法；蒋伟等 通过改进的主成分分析（，）算法消除与汽油辛烷值损失相关性较低的输入变量特征，采用随机森林回归（，）算法预测辛烷值损失，解决了流程制造化工过程的产品质量预测难题。上述文献提出的质量预测模型虽然对流程制造业中的产品质量预测均作出了一定贡献，但是在流程制造情境中，面对高非线性与强耦合性问题时，难以进一步精确预测最终产品质量，仍存在一定的提升空间。在以上研究基础上，有学
7、者提出采用深度学习的智能质量预测模型，为提升流程制造质量预测精度提供了借鉴。戴稳等 提出堆栈稀疏自动编码器 网 络（，）模型来精简特征选择流程，基于卷积神经网络（，）预测铣刀磨损状态，有效提高了产品质量的预测精度；袁壮等 针对化工过程中关键工艺参数呈非线性和动态性的显著特点，提出基于时间注意力卷积双向长短时记忆网络（，）的温度预测模型；缪希仁等 针对 循 环 神 经 网 络（，第期阴艳超 等：基于注意力机制门控循环单元 神经网络的智能多工序工艺参数关联预测）不适合解决长时间序列、计算工作量大等问题，提出基于条件互信息与长期和短期时间序列网络（，）的特高压变压器顶层油温预测模型；赵志宏等 将注意
8、力机制与门控循环单元（，）网络结合，构建设备剩余寿命预测模型；何永勃等 针对制造过程工艺参数的高维特性和时序特性，构建了基于双向联想记忆（，）和 混合模型的辅助动力装置排气温度质量预测模型。上述文献均使用工业数据作为输入，对工业过程进行仿真模拟，但在工业生产的实际应用中，较少关注加工过程中工艺参数对最后质量指标的影响，且鲜有从多工序的耦合特性出发构建模型。鉴于此，本文针对流程制造行业的工艺数据存在高维性、时序性以及数据之间相互耦合等问题，提出一种基于注意力机制门控循环单元 神经网 络（，）的智能多工序工艺参数关联预测方法。首先，从海量数据中提炼出对质量指标有影响的工艺参数，基于信息熵将工艺参数
9、对质量指标的影响进行量化分析，在保留工艺数据原始次序的情况下，消除无效特征变量；其次，基于对质量指标有效的输入特征，在 前后分别引入时序注意力机制和多特征融合注意力机制，构建 模型，提取设备状态信息与工艺参数特征，加强工艺参数的时序信息对预测输出的表达，实现产品工艺质量的精准预测。本文所提方法针对性地解决了流程制造行业产品质量预测难的问题，并将该方法应用于制丝智能车间的产品质量实时预测，经企业验证，关键质量指标成品出口含水率稳定性提升以上，满足了流程制造生产过程高水平质量控制的需要，验证了模型的有效性和实用性。多工序工艺参数预测问题分析流程式生产企业中，各工艺制造范围在实际生产中日益扩大，各工
10、艺间的耦合性也愈来愈强。例如，某制丝生产线分为工序（松散回潮）、风选、除杂、工序（一次加料）等工序，制丝生产过程如图所示，图中将松散回潮工序的工艺参数（工艺流量、加水比例、加水流量等）作为输入变量，质量指标出料温度和出料含水率作为输出变量，输入输出变量与风选工序间有交叉关联关系，影响最终的质量指标。因此，前道工序的工艺参数直接影响最终质量指标，其使整条制丝生产线呈现高关联耦合性。其中工艺参数具有以下特点：（）特征高维性流程型制造过程工艺复杂，影响因素较多，每道工艺都将产生大量历史数据，工序的加工参数、质量指标应控制在工艺要求范围内。在生产中，采用水分仪、电子秤、热风温度检测仪、蒸汽温度检测仪等
11、传感器在线采集工艺流量、循环风门开度、排潮风门开度、出料温度等工艺参数，形成具有高维特性的生产工艺数据集。（）工序时序性传感器采集生产线数据时，对于同一批物料的不同工序，每采集一次，将采集到的生产线数据传输至制造执行系统（，）。数据按时间顺序采集，对采集到的数据进行简单分析，得知工序间的工艺参数与采集时间存在一定时序相关性。例如，加香工序的加香累计量（）和物料累计量（）与采集时间呈周期性的强正相关关系。（）关联耦合性由于多工序的时序性，在流程型工业的生产过程中，工艺参数对最终产品质量的影响使工艺在本质上存在复杂的关联特性。例如，松散 回 潮 工 序 的 出 料 含 水 率（）和 出 料 温 度
12、（）质量指标不仅影响一级加料工序的加工参数，还 对 最 终 加 香 工 序 的 质 量 指 标 出 料 含 水 率（）产生影响。基于 的智能多工序工艺参数关联预测方法基于 的智能多工序工艺参数关联预测模型结构如图所示。本文构建的预测模型分为数据预处理和构建质量预测模型两大部分，前者包括数据清洗和基于互信息法对工艺参数进行特征筛选，后者为由输入层、多工序特征关联层、多时序特征融合层和输出层构成的模型。（）输入层导入预处理后的工艺参数，。（）多工序特征关联层引入时序注意力机制提取预处理后的数据特征，利用 自编码器无监督学习工艺参数数据时序特征，根据输入变量特征之间的差异分配注意力权重，实现第阶段工
13、艺数据的有效关联。（）多时序特征提取层引入多特征融合注意计算机集成制造系统第 卷第期阴艳超 等：基于注意力机制门控循环单元 神经网络的智能多工序工艺参数关联预测力机制，基于 网络增强重要的关联特征，加强对 输出高关联度的长时间信息的表达，并按照时序特征对多个单工序预测模型进行聚合，最后完成多工序时序特征融合，实现第阶段工艺数据的有效关联。（）输出层单工序预测模型连接 网络，输出质量指标的预测值，完成产品工艺质量的精准预测。工艺参数数据预处理 工艺参数数据清洗数据预处理是数据建模前重要的一环。在实际建模过程中，按照产品质量评估参数确定原则，选取的工艺参数需要准确表示原料状况，然而工艺参数数据集存
14、在度量单位多、差异大的特点，因此对所有工艺参数数据进行最大最小归一化来提高神经网络的收敛性能，并消除量纲误差。（）（）。（）式中：为归一化后的工序工艺参数数据；为工序工艺参数；和 分别为的最大值和最小值。互信息特征筛选多工序工艺参数经过数据预处理降低了数据的冗余性，但仍存在一定程度的高维特性，阻碍了模型构建，因此还需进一步对工艺数据进行降维。互信息特征筛选在保障工艺参数时序性特征的前提下对工艺参数进行降维，为训练后续模型层级奠定基础。因此，本文选用互信息法筛选工艺参数。工艺参数和质量指标的互信息熵值（；）（，）（，）（）（）。（）式中：，为工艺参数；，为质量指标；（，）为和时的概率。本文基于互
15、信息方法筛选高维数据特征，主要分为两部分：（）以数据相关性为标准进行筛选流程型制造过程产生大量工艺参数数据，其中工序的工艺参数之间、工序的工艺参数与质量指标之间关系错综复杂，通过式（）计算工艺参数之间的熵值，然后确定阈值来剔除与质量指标相关性低的工艺参数。（）着重从数据冗余角度进行筛选工序的工艺参数众多，计算出的相关性有高有低，用阈值剔除与质量指标相关性较低的工艺参数特征，达到降低冗余性的目的。通过上述两部分筛选，过滤低相关性特征后得到六大工序中加水比例、蒸汽自动阀门开度等工艺参数数据组合，由此组合成高质量数据集，为后续建模奠定良好的基础。基于 的智能多工序工艺参数关联预测模型 输入层（）为避
16、免模型出现过拟合、欠拟合或训练效果差等问题，考虑 网络处理时序性数据的特点，构造滑动窗口作为模型的输入。假设生产工艺过程中产生的序列特征为，将数据集转化为矩阵后，滑动窗口设置为，则序列长度（）；通过窗口对序列特征进行滑动处理，实现对的遍历循环，循环次数（）；数据集长度减去序列长度（）构成子序列，滑动窗口在子序列上平滑移动，得到输入形状。输入数据集，模型的输入形状为（，），此时数据作为训练样本，供多特征融合关联层训练。多特征融合关联层（）时序注意力机制不同时刻的时序信息对输出变量特征存在一定影响，每个输入时间点对所预测的质量参数有不同贡献度，在 网络前引入时序注意力机制（，），利用无监督机器学习
17、技术对流程数据、工序参数、操作参数等数据进行时序特征 提 取，赋 予不 同时刻输入特征的向量权重。的原理（如图）如下：输入数据利用 获得工艺参数的编码特征（），（），（）；待编码特征整合成矩阵后，将特征与前一时间序列的隐层状态 结合，作为 层特征输入，用式（）计算时刻的输入特征向量权重（），（），（）；借助 还原特征，通过式（），利用激活函数 不断对还原特征进行调整和归一，实现向量特征自动调参；将输入特征（）和对应参数权重（）相乘得到工艺参数特征重要 性值，用 以 表 征 各 特 征 的 强 弱 相 关性。具体计算公式如下：（）（）；（）（）（）（）；（）计算机集成制造系统第 卷（）（），（）
18、（），（）（），（）（）。（）式中：（）为数据序列特征的计算权重；为序列特征对应的偏差项。利用得到的特征重要性值连接全连接层，获得包括隐藏层在内的重构结果。的引入解决了 的短期记忆问题，同时能够自适应调整不同通道的权重，并通过对特征进行编码和解码解决了时序空间距离限制的问题，为后续 的输入提供了依据。（）多特征融合注意力机制在 网络输出层引入多特征融合注意力机制，将注意力权重进行量化，并按时序特征对单工序预测模型进行聚合，实现多工序时序耦合特征融合，然后计算个工序单元的工艺参数与出料含水率质量性能指标之间的关联程度，具体结构如图所示。根据图，多特征融合注意力机制的具体计算过程如下：将 处理后的
19、时间序列信息 作为 网络的输入，记为，输出记为向量，输出网络单元记为，则融合层时刻的输入（，）。对历史状态信息引入注意力机制赋权后，用 函数对权重进行归一化，输出关联程度为；将工序作为一个单元，单元内的特征参数与对应的隐层状态信息聚合，即加权求和得到工序权重；对个工序单元的工序权重归一化，得 到；最 后，将视 为 一 个 神 经 元，即 的神经元数为，通过全连接层网络对误差进行反向传播计算，并对输出维度进行转化，得到出料含水量质量参数预测值。相关计算公式如下：（）；（）（）（）；（）；（）（）（）（）（）；（）（）。（）式中：为查询向量；表示输入相应的矩阵参数；表示输入相应的偏差参数；为归一化
20、后的工序权重；为计算权重；为计算偏置。多工序时序特征层工艺参数和采集时间之间具有特定的时序相关性，可以利用 网络增强时间特性，采用门控第期阴艳超 等：基于注意力机制门控循环单元 神经网络的智能多工序工艺参数关联预测（，）选择性地遗弃或保留特征信息，达到预测质量的目的，时序 网络流程图如图所示，图中包括部分：（）输入层以多特征融合关联层得到的结果为输入，采用梯度下降算法计算模型损失，改变网络技术参数的权重，使时序 网络更加有效、损失更小。（）中间层中间层为门控环节，包括更新门（）和重置门（），将输入层中重构后的节点作为门控环节的输入，将通过滑动计算的时序序列（），（），（）作为输出。（）输出层通
21、过对 网络通道处理后的滑动数据进行重构，得到具有时序特征的工艺参数集，为下一层网络作铺垫，以此达到提高模型预测精度的目的。在 网络门函数的二值变量，中，表示关闭状态，表示开放状态。当为时，遗弃所有信息；当为时，保留所有信息。为防止网络梯度爆炸，采用归一化，并通过 门控循环网络机理对有效信 息 进行过 滤。图所示 的 训 练过程 表示如下：（）；（）（）；（）?（）；（）（）?；（）（）。（）式中：为激活函数 ；为 网络中输入层与的计算权重；为时刻 网络中输入层与的计算权重；为隐藏层时刻与时刻的计算权重；为隐藏层时刻与时刻的计算权重；为隐藏层时刻与 网络输出层的计算权重；为时刻的隐藏层偏置；为时
22、刻的质量参数偏置。预测网络的输出层按照时序特征，引入多特征融合注意力机制对多个单工序预测模型进行聚合，得到基于 的智能多工序工艺参数关联预测模型的输出层神经元。输出层（）至此，工艺参数特征被模型的多工序特征关联层和多时序特征融合层深度挖掘，整个模型输出层采用 搭建。通过调整网络的阈值和权值，对工艺质量实际值与模型训练的质量指标预测值进行残差平方求和，使误差平方和 达到最小。（）。（）式中：为工艺质量实际值；为工艺质量预测值。为得到误差较小的稳定模型结构，同时避免模型过拟合或陷入局部最优，将模型预测值以一定比例放大，即（），然后根据模型训练得到的预测值，再经 返回原值。实例验证分析 实验环境为验
23、证 算法的优越性和有效性，进行多次实验。本次实验的软硬件平台为个人计算机，处理器为 （）（），的，兼用 系统。软件框架结构采用 语言，以开源的机器学习库 和 支 持 为 引 擎，实 现 算 法 模 型 的应用。实验数据以某流程制造企业的制丝生产线为例，整体工艺流程为“松散回潮一级加料二级加料叶丝计算机集成制造系统第 卷干燥比例掺配加香”。该生产线的工艺装置如图所示，图中上半部分为仓储中心，用于存放物料和成品；下半部分分别为润叶机、切丝机、增温增湿机、烘丝机、掺配机、加香机台加工设备，各个设备由多种装置组成，例如润叶机有滚筒、蒸汽系统、循环风系统、供水系统、排潮系统、出料口等装置，其主要功能是工
24、艺流程中的松散回潮工序加工。在松散润叶过程中，原料经入口振槽进入润叶筒，滚筒内壁的抄板对原料进行松散，同时工艺所需的蒸汽和水通过滚筒入口的蒸汽喷嘴、水汽混合喷嘴定量喷射到原料上，整个过程通过循环风使滚筒内的水和热量分散均匀，防止大量聚集在局部原料上。具体工序内部的工艺流程如图所示。生产线每采集一次样本数据存入 数据库，从而得到历史数据。在排除所有离散奇异点的情况下，获取所有工艺参数的平均值，作为数据分析的主要来源。为验证算法的有效性，先后用生产线采集 年月日 年月 日和 年月日 年月 日的两组数据集，分别为数据集和数据集。数据集部分原始数据如图所示，共 组；数据集部分原始数据如图所示，共 组。
25、数据集包括松散回潮、一级加料、二级加料、叶丝干燥、比例掺配、加香六大工序的工艺参数和过程指标共 维，各工艺参数用简化的方式表征，例如 叶 丝 冷 却出 料 含 水 率 简 写 为 ，加香出料含水率简写为 。数据集按 的比例分配，对于数据集，训练集验证集测试集 ；对于数据集，训练集验证集测试集 。其中，训练集用作训练，验证集用作模型的选择和调参，测试集用来评估泛化学习能力。实验参数本文建立的模型参数主要涉及互信息特征筛选、网络、时序 网络、特征融合个过程，为保证模型的高精度，多次进行实验对比以寻求模型的最优参数组合，得到 模型的最终参数。（）特征筛选互信息参数通过互信息法对采集的 维工艺参数进行
26、降维，并进行模型训练。计算得到工艺参数数据集对第期阴艳超 等：基于注意力机制门控循环单元 神经网络的智能多工序工艺参数关联预测应的特征熵值，如图 所示。为保证阈值筛选的准确性，采 用 平 均 绝 对 误 差 和 均 方 根 误 差 评估阈值对预测结果的影响。其中，针对数据集，熵值在 时 和 的误差达到峰底，因此确定阈值为 ，特征数量为，工艺参 数 为 ，如图 图 所示。同理，数据集的阈值为 ，特征数量为，工 艺 参 数 为 ，如图 图 所示。（）参数根据上述步骤中数据集和数据集的参数特征，设置 输入层的网络结构参数，输入维分别为，特征维分别为 ，嵌入维分别为，同时计算时刻的输 入特 征向量权重
27、。计算机集成制造系统第 卷（）时序 参数针对网络结构参数对模型学习性能的影响，引入 机制防止模型过拟合。在输出序列中，返回所有隐藏状态，分别将时间步长、神经元、率进行等比例正交组合。根据经验对参数进行初选，时间步长取，神经元设置为，率设为 ，选取均方根误差 最小时的时间步长、神经元、率作为时序 网络结构参数，实验结果如表所示。由表可知，率为 时比为 时的 高；当 率为 、步长为 时误差较小；当 率为 、步长为 时，神经元为 和 的误差相差不大，因此选取较少第期阴艳超 等：基于注意力机制门控循环单元 神经网络的智能多工序工艺参数关联预测表不同网络参数出料含水率的 率 步长 的神经元，以节约计算资
28、源，降低模型复杂度。由计算结果可知，数据集输入 网络的形状分别为（，），（，）。基于上述分析，网络参数设定如表所示。表时序 参数 神经元步长 率返回序列 （）特征融合参数根据多特征融合注意力机制对单工序预测模型进行聚合，完成特征的深层提取，增强对 输出高关联度的长时间信息表达，实现多工序时序特征融合。例如，针对数据集六大工序重要性的差异化，基于多特征融合注意力机制计算各工序特征对应的工序权重分别为，。基于上述分析，所合并的工序特征维数对应 的输入神经元个数，对神经元进行偏置计算后得到出料含水率预测值。综上所述，经过实验调试，模型最终的参数设置如表所示。表 模型参数设置表参数数值嵌入维度数据集
29、数据集 步长数据集 数据集 率 层 层 层 神经元输入层数据集 数据集 层数据集 数据集 层 特征融合层输出层 对比实验 基本质量预测模型对比各基本质量预测模型的详细参数如下：在线性回归模型中，设置自动调参，截距为 ；在随机森林中，最少样本数为，内部节点再划分所需最小样本数为，最大特征数为，最大深度为，最大迭代次数为 ，其他参数为默认参数的情况下训练模型进行预测；在拟合回归模型（）中，正则化为 以防模型过拟合，模型停止拟合的误差值为 ，最大迭代次数为 ；在 中，层数设置为层，隐藏层采用激活函数 ，各层神经元个数为（，），迭代次数为 次，同时增加 优化器，使模型能够自适应调优。在相同测试集下训练
30、，绘制基本质量预测模型计算机集成制造系统第 卷的 预测值与真实值对比图，数据集的对比图如图 所示，数据集的对比图如图 所示。通过基本质量预测模型对比可见，预测的质量预测值与真实值上下波动情况基本一致，曲线精度最高，极少如线性回归和随机森林在部分样本上出现较大预测误差。展开模型对比为验证模型在相同输入参数下的模型性能，在 网 络 神 经 元 设 置 为 的 基 础 上，对 模型、模型、模型进行对比，并引入拟合优度衡量模型预测能力。模型预测能力的对比如表所示，可见数据集在未引入时序注意力机制的 模型上，预测拟合优度均在 左右，分别为 ，拟合效果较好；引入时序注意力机制后的 模型相比 模型的拟合度均
31、有提高，此时拟合度分第期阴艳超 等：基于注意力机制门控循环单元 神经网络的智能多工序工艺参数关联预测别为 ，数据集的 拟 合 优度 分别提高 ，表明 对模型的有效性；的 拟 合 优 度 高 达 ，表明本文模 型 在 预 测 中 的 准 确 性 与 优越性。表展开模型对比展开模型数据集数据集 时序模型对比为体现 在时序模型方面的实用性，进行对比实验，具体参数如下：（）模型为一种在深度序列预测模型中最基本的模型，由长短期记忆（，）最基本的单元构建，有输入层、个隐藏层、个全连接层和个输出层构建模型网络，迭代次数和批训练数分别为 ，并采用 率和 优化器防止过拟合。（）模型为在 模型基础上简化计算的另一
32、种基本深度序列预测模型，由个遗忘层和个全连接层堆叠而成，遗忘层参数设置为（，），全连接层采用激活函数 ，迭代次数和批训练数分别为 ，。（）模型为 结合 的多维神经序列模型。在上述 模型的基础上，增加 网络构建 模型，网络结构设计 为 两 层 卷 积 层（），卷 积 核 数 分 别 为 ，卷积核尺寸为，步长为，激活函数为 ，连接最大池化层（），池化窗口大小为。（）模型为 ，相结合的序列模型。该模型利用双层卷积核个数为、大小为、激活函数为 、连接双层神经元为 的 网络，采用全连接层模拟自回归（，）过程，迭代次数和批训练数分别为 ，学习率为 ，率为 ，并采用 优化器，以有效提高预测精度。（）模型为一
33、种基于 、由编码器和解码器组成的注意力机制模型，模型中的步长为，迭代次数和批训练数分别为 ，编码器输入维度为（步长，特征数量），解码器对质量指标出料含水量进行解码。以 真实值与 预测值的误差为评价指标，预测误差如图 所示，可见蓝色误 差 值 的 总 覆 盖 面 积 最 小，因 此 模型得到的质量预测值整体误差最小，稳定性最好。实验模型误差对比除以上对比实验外，本文用表示回归误差的两个损失函数进行定量评估，即平均绝对误差 和均平方误差：；（）（）。（）式中：为多工序工艺参数的个数；为第行 的实际值；为第行 的预测值。上述所有预测模型的，如表所示，可见随机森林模型的 和 最大，即误差最大，其次是线
34、性回归模型；模型的 和 最小，即误差最小。计算机集成制造系统第 卷表不同预测方法实验误差对比预测模型数据集数据集 线性回归 随机森林 由实验结果可知，在各主流预测的前种方法中，作为目前高泛化能力的多功能学习方法，拟合回归模型加入正则化以防模型过拟合，并通过网格搜索寻找最优模型的方式获得了较好的预测精度，其预测值比其他种方法明显更接近实际值，但略逊于时间序列算法。通过对比展开模型可知，引入时序注意力机制不仅提高了模型对特征的提取能力，还提高了模型的拟合精度。通过对比时序模型可知，模型的 几乎为零，完美地拟合出测试集数据的曲线。至此，相比有较高精度的 ，的 降 低 了 ，降 低了 ，原因在于：避免
35、过拟合方面，在增加训练集数据使模型学习到更多有效特征的基础上，采用 率和 优化器，有效防止了过拟合；在时间序列的工序上，引入注意力机制特征对工序进行时序特征融合，提取了质量指标的深层次有效特征。因此，本文所提 模型提高了质量指标的预测精度，多次实验表明本文模型最优。将本文所 提 关 联 预 测 方 法 应 用 于 实 时 预 测制丝智能车间的生产过程质量后（如图），关键质量指标 成 品 出 口 含 水 率 的 稳 定 性 提 高以上，产品综合质量与产品目标设计值的符合度得到较大提升。结束语针对流程生产工艺参数高维、强时序、关联耦合的特征，本文提出一种基于 的智能多工序工艺参数关联预测模型，弥补
36、了单元级预测和基于数学模型预测两种方法在关联和时序特征提取方面的不足。实验结果表明本文所提方法中，优于对比算法，证明了该方法的有效性。本文的主要创新和贡献总结如下：第期阴艳超 等：基于注意力机制门控循环单元 神经网络的智能多工序工艺参数关联预测（）在工艺数据预处理基础上，利用互信息法熵值对影响质量参数的多因素进行特征筛选，有效辨别生产过程中工艺参数与其质量指标之间存在的耦合关系，解决了流程制造过程中高维时序性工艺特征的正确筛选和提取问题。（）在 前后分别引入时序注意力机制和多特征融合注意力机制。其中引入时序注意力机制是根据输入变量特征之间的差异，嵌入向量进行注意力权重分配，实现时序数据自主处理
37、，解决 的短期记忆问题；引入多特征融合注意力机制是对多个单工序预测模型进行聚合，实现多工序时序特征融合，加强工艺参数时序信息对预测输出的表达，提高了质量预测模型的稳定性。（）基于 网络学习产线历史数据构造的时序向量，进而为不同工序的工艺参数分配注意力权重，自适应地获取时序数据之间的依赖性，有效提高了模型提取生产工艺参数复杂特征的能力。（）将本文所建模型分别与种基本质量预测模型、种展开模型、种时序模型进行对比分析，并在组不同数据集上进行实验验证，结果表明，本文所提 模型计算误差小、预测精度高。该方法已部署应用于某流程制造企业的制丝生产线质量在线预测，有效提升了产品质量的稳定性。本文提出的 模型具
38、有良好的泛化性，能够较好地满足工程需要，对生产实践具有实际指导意义。后续研究可以进一步考虑离散制造生产过程中存在的质量控制问题，为质量预测建模方法及其应用提供参考。参考文献：，（）：（）李彦瑞，杨春节，张瀚文，等 流程工业数字孪生关键技术探讨 自动化学报，（）：，（）周佳军面向智慧云制造资源服务组合的若干进化算法研究 广州：华南理工大学，（）：（）钱锋流程工业制造系统智能化 人工智能与流程制造深度融合 ，（）：，（）：（）钱锋人工智能赋能流程制造科技导报，（）：，（）：（）陈怀荣，王曦 基于部件特性的螺旋桨数学模型通用建模算法推进技术，（）：，：，（）：（）任明仑，宋月丽大数据：数据驱动的过程
39、质量控制与改进新视角 计算机集成制造系统，（）：，（）：，：，（）：（）赵晏林，鲁建厦，闫青，等 基于自适应多目标果蝇算法的 型智能制造单元设施布置 计算机集成制造系统，（）：，：，：，（）：，（）：（）程进，王坚数据驱动的流程制造工艺参数匹配方法计算机集成制造系统，（）：，（）：（）赵子任，杜世昌，黄德林，等 多工序制造系统暂态阶段产品质量马尔科夫建模与瓶颈分析 上海交通大学学报，（）：，计算机集成制造系统第 卷 ：，：，（），（）：，（）：，（）：（）韩敏，刘晓欣基于互信息的分步式输入变量选择多元序列预测研究 自动化学报，（）：，：（）房鑫洋，张洁，吕佑龙，等 基于 的复杂产品制造质量预测
40、方法 计算机集成制造系统，：，（），（）：（）蒋伟，佟国香基于改进 算法的汽油辛烷值损失预测模型的构建与分析 石油学报（石油加工），（）：，（）：，（）：（）戴稳，张超勇，孟磊磊，等 采用深度学习的铣刀磨损状态预测模型中国机械工程，（）：，（）：（）袁壮，凌逸群，杨哲，等基于 的化工过程关键工艺参数预测化工学报，（）：，（）：（）缪希仁，林蔚青，肖 洒，等基于条件互信息与 的特高压变压器顶层 油 温 预 测 方 法 电 网 技 术，（）：，（）：，（）赵志宏，李晴，李春秀基于卷积 注意力的设备剩余寿命预测振动测试与诊断，（）：，（）：（）何永勃，曹祝兵，于洁基于 和 混合模型的辅助动力装置排气温度预测方法 推进技术，（）：，：，（）：，（）刘兴，余建波注意力卷积 自编码器及其在工业过程监控的应用浙江大学学报：工学版，（）：，作者简介：阴艳超（），女，河南安阳人，教授，博士，博士生导师，研究方向：智能制造、工业大数据等，：；张曦（），女，湖南沅江人，硕士研究生，研究方向：机器学习、智能算法、工业大数据等，：；唐军（），男，广西桂林人，高级工程师，博士，研究方向：加工工艺与装备、数据挖掘等，通讯作者，：；张万达（），男，云南楚雄人，博士研究生，研究方向：工业大数据、数据挖掘、分布式计算等，：。
