1、贝叶斯优化的表面缺陷超分辨率检测张睿1,2,任文宇1,傅留虎21(太原科技大学计算机科学与技术学院,太原030024)2(山西省机电设计研究院有限公司,太原030009)通信作者:张睿,E-mail:摘要:金属表面缺陷待测样本往往存在分辨率低、缺陷边界模糊、缺陷密集、缺陷目标小的情况,同时,构建的检测模型存在大量的超参数需要手动调参,缺乏模型自适应调参能力,本文提出一种基于贝叶斯优化的表面缺陷超分辨率检测算法.通过设计精细化分层结构,丰富主干网络特征图的感受野,增强对高低频信息的提取,重建出边缘纹理清晰的高分辨率图像;通过构建瓶颈残差密集结构,丰富主干特征提取网络的浅层特征和深层特征,提升模型
2、对小目标和密集目标的分类和定位能力;通过贝叶斯优化算法以较小的时间代价自适应优化检测模型的关键超参数.实验表明,本文对 NEU-DET 数据集中 6 类金属表面缺陷的 mAP0.5可达 0.782,同时检测速度可达 102f/s,优于其他检测算法.关键词:缺陷检测;超分辨率;瓶颈残差密集块;贝叶斯自优化策略引用格式:张睿,任文宇,傅留虎.贝叶斯优化的表面缺陷超分辨率检测.计算机系统应用,2023,32(11):193202.http:/www.c-s- Defect Super-resolution Detection Based on Bayesian OptimizationZHANGRu
3、i1,2,RENWen-Yu1,FULiu-Hu21(CollegeofComputerScienceandTechnology,TaiyuanUniversityofScienceandTechnology,Taiyuan030024,China)2(ShanxiElectromechanicalDesignandResearchInstituteCo.Ltd.,Taiyuan030009,China)Abstract:Thesamplestobetestedformetalsurfacedefectsareoftencharacterizedbylowresolution,fuzzydef
4、ectboundaries,densedefects,andsmalldefecttargets.Atthesametime,theconstructeddetectionmodelhasalargenumberofhyperparametersthatneedtobemanuallyadjustedandlackstheadaptiveparameteradjustmentability.Inthisstudy,asurfacedefectsuper-resolutiondetectionalgorithmbasedonBayesianoptimizationisproposed.Throu
5、ghthedesignoffinelayeredstructure,thereceptivefieldofthebackbonenetworkfeaturemapisenriched;theextractionofhigh-lowfrequencyinformationisenhanced;thehigh-resolutionimagewithclearedgetextureisreconstructed.Byconstructingthebottleneckresidualdensestructure,theshallowanddeepfeaturesofthebackbonefeature
6、extractionnetworkareenriched,andtheclassificationabilityandthelocalizationabilityofthemodelforsmalltargetsanddensetargetsareimproved.ThekeyhyperparametersofthedetectionmodelareoptimizedadaptivelybyaBayesianoptimizationalgorithmwithlowtimecost.ExperimentsshowthatmAP0.5forsixtypesofmetalsurfacedefects
7、intheNEU-DETdatasetcanreach0.782,andthedetectionspeedcanreach102f/s,whichissuperiortootherdetectionalgorithms.Key words:defectdetection;super-resolution;bottleneckresidualdenseblock;Bayesianself-optimizationstrategy计算机系统应用ISSN1003-3254,CODENCSAOBNE-mail:ComputerSystems&Applications,2023,32(11):19320
8、2doi:10.15888/ki.csa.009267http:/www.c-s-中国科学院软件研究所版权所有.Tel:+86-10-62661041基金项目:山西省基础研究计划(20210302123216);山西省机械产品质量司法鉴定中心企业委托项目(2021168);山西省研究生教育改革研究课题(2021YJJG244);太原科技大学研究生联合培养示范基地项目(JD2022004);太原科技大学研究生教育创新项目(SY2022064)收稿时间:2023-04-07;修改时间:2023-05-11;采用时间:2023-05-15;csa 在线出版时间:2023-08-09CNKI 网络首发
9、时间:2023-08-10SoftwareTechniqueAlgorithm软件技术算法193金属材料在工业制造中应用较为广泛,但金属在加工过程中往往会因各种因素导致金属表面出现裂纹、斑块、麻点面、压痕、刮痕等不同程度和不同种类的缺陷,这些表面缺陷不仅影响金属外观,严重时还会导致金属材料断损,从而发生一些事故,因此金属表面缺陷需要在生产过程中准确地检测出来.随着计算机视觉领域中基于深度学习的目标检测算法快速发展,以其检测精度高、检测速度快等优势为金属表面缺陷的检测批量化、高效率检测提供了新思路新方法.王道累等人1提出一种基于级联孪生密集网络的表面缺陷检测方法,加入空洞空间金字塔池化结构获取不
10、同采样率的特征图捕获多尺度信息,融合浅层特征和高层复杂特征增强分类准确率,解决金属表面缺陷实时检测中存在的缺陷检测精度不高以及难以定位等问题;李维刚等人2对 YOLOv3 模型进行改进,使用加权 K-means 聚类算法优化先验框参数,融合浅层特征与深层特征,提高模型对带钢表面缺陷检测精度;王一等人3在 YOLOv5 原模型加入 SE 注意力模块,减少无用特征干扰,同时用 Ghost 卷积块替换主干网络中常规卷积,提高了对金属工件表面缺陷检测的精度;Wang 等人4在 YOLOv4 模型颈部加入 SAF注意力模块增强路径间和跨层特征融合,使用马赛克增强防止图像过度参与训练;Xie 等人5提出一
11、种基于特征增强 YOLO 的表面缺陷检测算法用于实际工业,为了高效检测,通过结合深度可分离卷积和密集连接降低模型的参数量,为了提高检测精度,提出了一种改进的特征金字塔网络,以增强多尺度检测的空间位置相关性.可以看出,目前对于金属表面缺陷检测的研究取得了一定成就.然而现有研究存在一些问题需要进一步完善:(1)工业生产中采集到的金属表面缺陷图像存在分辨率低的情况,直接使用原始低分辨率缺陷图像进行检测会造成目标难检、误检及漏检问题.(2)现研究的主干网络提取特征尺度较单一,不同尺度浅层特征和深层特征无法均衡,小目标或密集目标的分类或定位能力较差.(3)现阶段的目标检测超参数优化多依靠研究人员的主观经
12、验,需要较强的专业经验,通过大量耗时的“试错”实验进行优化以期达到较好的效果,缺乏模型的自适应性和存在模型泛化性差的问题.综合上述问题,本文提出一种基于贝叶斯快速优化的金属表面缺陷超分辨率检测算法.总结本文贡献有 3 点.(1)为有效降低低分辨率金属表面图像对缺陷检测效率的影响,设计了一种多层融合超分辨率重建模型,将 ESRGAN 和精细化分层结构有效融合,丰富主干特征提取网络特征图的感受野,在实现缺陷图像的超分辨率重建的同时提高重建图像边缘纹理清晰度.(2)为有效提高检测模型对小目标和密集目标的分类和定位能力,设计了一种瓶颈残差密集结构,丰富主干特征提取网络的位置信息和语义信息.(3)针对模
13、型人工调参主观性强、自学习能力薄弱等问题,论文以缺陷检测模型均值平均精度为优化目标,采用贝叶斯优化算法对初始学习率、损失系数、IOU 阈值等 20 个模型超参数进行自适应寻优,提高检测模型自优化能力和模型泛化能力.1相关工作 1.1 超分辨率重建金属表面缺陷数据集分辨率较低,直接使用原始图像进行目标检测会出现目标难检、误检和漏检的情况.随着深度学习和卷积神经网络的快速发展,基于深度学习的超分辨率也得到了积极的探索和研究.相比传统基于插值和基于重构的超分辨率重建方法,基于深度学习的超分辨率可以用深度模型自动提取更有表达能力的图像特征,学习低分辨率图像 ILR和高分辨率图像 IHR之间的映射关系
14、F,如式(1),重建出更加逼真的图像纹理细节6,7.=argmin1NNi=1L(F(ILRi),IHRi)(1)其中,=w1,w2,wp,b1,b2,bp表示 p 个卷积层的权重和偏置,N 表示低分辨率图像 ILR和高分辨率图像 IHR训练样本对数,L 表示最小化重建图像 F(ILR)和高分辨率图像 IHR的损失函数.一些研究者对表面缺陷图像的超分辨率重建方法进行了积极的研究.刘孝保等人8构建一种基于超分辨率特征融合的数据扩增模型解决表面细微缺陷模型构建困难、图像特征不明显和工业应用困难的问题;Cheng 等人9提出一种缺陷感知生成对抗网络框架,通过分割缺陷图像的感知注意力图增强生成高分辨率
15、图像缺陷区域的可见性;Akhyar 等人10用生成对抗网络 ESRGAN 预处理原始钢铁表面缺陷图像,生成具有更丰富的边缘轮廓缺陷图像,提高了对缺陷检测的精度.计 算 机 系 统 应 用http:/www.c-s-2023年第32卷第11期194软件技术算法SoftwareTechniqueAlgorithm 1.2 YOLOv5 检测模型金属工件加工产线生产节奏快、检测精度要求高以及硬件资源有限等因素都对算法的实时性提出了挑战.YOLOv5 自 2020 年 6 月发布 v1.0 以来,到如今最新 v6.2 版本,经过了 9 个版本的更新,受到了较多研究者的关注.YOLOv5 是当前目标检测
16、模型中能够很好地平衡检测速度和准确率的模型之一,其模型参数量只有 7.04M,这为嵌入移动设备实现轻量化提供了良好条件11.YOLOv5 模型结构主要包括:输入端、主干网络、颈部、预测端,其中输入端应用了 Mosaic 数据增强技术、自适应锚框计算以及自适应图片缩放技术;主干网络主要由 CBS 结构、C3 模块提取特征和 SPPF提升模型感受野;颈部由 FPN+PAN 的结构设计进行特征融合;预测端预设了由 K-means 聚类数据集得到9 种不同尺寸的 anchor,3 个为一组,分别预测大、中、小 3 种尺度的目标.2方法 2.1 多层融合超分辨率重建模型多层融合超分辨率重建模型主要由主干
17、网络增强型超分辨率生成对抗网络(enhancedsuper-resolutiongenerativeadversarialnetwork,ESRGAN)12、精细化分层结构两部分组成,结构如图 1 所示.残差密集块(residual-residualdenseblock,RRDB)移除了超分辨率网络经常使用的 BN 层,防止重建图像产生伪影,同时也能缩减网络的计算量.图 1 中 为残差缩放系数,即通过在 01 之间乘以一个常数来改变密集块支路的权重.密集块密集块精细化分层模块+密集块密集块RRDBConvConvConvConvConvConvLReLULReLULReLULReLUConvC
18、onvConvUpsampleRRDBRRDBRRDB图 1多层融合模型图为了进一步提高主干特征提取网络不同尺度感受野的特征表示,本文在主干网络设计了精细化分层支网络,如图 2 所示,精细化分层结构的输入特征图首先均分为 4 个通道的特征图 Xi,然后每个通道经过33 卷积核分别提取来自本通道的特征图和上一层通道的特征图,卷积之后每一层通道得到 4 个输出特征Yi,每层的 Xi和 Yi存在如下关系:Yi=Xi,i=1Xi+Yi1,1 i 4(2)X4XX3X2X1Y4Y3Y2Y1Y33643364334833323316图 2精细化分层模块最后,在通道维度上拼接所有层的输出特征并得到重组特征
19、Output,重组特征使用 11 卷积核固定通道数,使模块输入通道数与输出通道数保持一致.精细化分层模块每一层特征子块 Yi都能够学习来自 Yi1的特征,可从输入特征中获取更多的通道信息,有助于丰富特征图的感受野,增强对特征图高低频信息的提取.2.2 基于多层融合超分辨率重建的 YOLOv5-BRDBYOLOv5 在很多领域中取得了较好的检测结果,但其检测背景复杂的多种尺度小目标和密集目标极易发生漏检或错检的情况.主干特征提取网络 Backbone浅层特征包含丰富的位置信息,有利于目标的定位,而深层特征包含较多的语义信息,有利于目标的分类.为进一步丰富主干特征提取网络的位置信息和语义信息,本文
20、构建了基于瓶颈残差密集块的 YOLOv5(YOLOv5basedonbottleneckresidualdenseblock,YOLOv5-BRDB)检测模型,其结构如图 3 所示,首先原始的低分辨率缺陷图像 LR 经过多层融合超分辨率重建模型处理成高分辨率图像 HR,尺寸大小为 8008003 的 HR 作为2023年第32卷第11期http:/www.c-s-计 算 机 系 统 应 用SoftwareTechniqueAlgorithm软件技术算法195YOLOv5-BRDB 的输入图像.Backbone 的 BRDB 模块通过瓶颈结构(Bottleneck)中的第 1 个 11 卷积核固
21、定输入特征的维度,避免使用普通卷积块使密集连接结构因后面卷积块特征输入增加引起 BRDB 模块计算量爆炸增长的缺点,在 BRDB 模块中的每个 Bottleneck结构的输出特征满足以下关系:Ti=Fi(A),i=1Fi(i1t=1Ft(Tt1),1 i 5(3)其中,Ti表示第 i 个 Bottleneck 模块的输出特征,Fi()表示第 i 个 Bottleneck 卷积的卷积过程,A 表示第 1 个Bottleneck 的输入特征,表示特征使用 concat 拼接.C3C3C3C3C3BottleneckBottleneckBottleneckBottleneckBottleneckBo
22、ttleneckBottleneckInputLR多层融合超分辨率模型HRBottleneckCBSCBSCBSCBSCBSCBSCBSCBSCBSCBSCBS808025540402552020255HeadCBSCBSUpsamp-lingUpsamp-lingBRDBBRDBBRDBSPPFNeckConv BN SiLUCBSCBSMaxPool2DMaxPool2DMaxPool2DSPPF=+AddConcatConcatConcatConcatConcatConcat图 3基于多层融合模超分辨率重建模型的 YOLOv5-BRDB 缺陷检测模型从式(3)中可以发现 BRDB 结构可
23、获得来自不同Bottleneck 的不同尺度、不同深度特征,增强主干网络 Backbone 对浅层位置特征和深层分类特征的提取能力,提升模型对金属表面缺陷中的小目标和密集目标的检测准确率.2.3 贝叶斯算法优化 YOLOv5-BRDB 超参数贝叶斯优化算法1315是一种有效的全局优化算法,广泛应用于机器学习、神经网络架构搜索、元学习等领域.在深度学习领域中,超参数的取值影响着模型的性能,现有模型超参数的优化多依靠开发人员的主观经验,需要专业的调参经验和耗时的“试错”使模型达到较好的效果.一些研究者使用群智能优化算法优化深度模型的超参数,但深度模型评估一次需要较高的时间和计算资源代价,而贝叶斯优
24、化算法能够根据未知目标函数学习先验知识更新评估位置,相比群智能优化算法更高效找到深度模型的最优超参数组合.贝叶斯优化算法利用代理模型拟合计算代价昂贵的真实的目标函数(即 YOLOv5-BRDB),并根据采集函数主动选择最具“潜力”的点作为下一个评估点(即计 算 机 系 统 应 用http:/www.c-s-2023年第32卷第11期196软件技术算法SoftwareTechniqueAlgorithmYOLOv5-BRDB 的超参数),从而避免了不必要的采样,其中贝叶斯优化算法的优化过程用到了贝叶斯定理:p(f|D1:t)=p(D1:t|f)p(f)p(D1:t)(4)其中,f 表示目标函数;
25、D1:t=(x1,y1),(x2,y2),(x3,y3)表示已观测集合;xt表示决策向量,yt=f(xt)+t表示观测值,t表示观测误差;p(D1:t|f)表示 y 的似然分布;p(f)表示先验概率分布,即对评估代价较大的目标函数状态的假设;p(D1:t)表示边缘似然分布;p(f|D1:t)表示f 的后验概率分布,描述已观测值对先验分布修正后目标函数的置信度.代理模型和采集函数是贝叶斯优化算法的两个核心组成部分,概率代理模型包含先验概率模型和观测模型,两者分别可视为式(4)中的 p(f)和 p(D1:t|f).更新概率代理模型表示后验分布 p(f|D1:t)得到了更多的目标函数的分布信息.采集
26、函数用于选择下一个评估点.本文构建的适应度函数即贝叶斯优化算法的目标函数,为了有较高的均值平均精度,本文以 10%权值mAP0.5和 90%权值 mAP0.5:0.95之和作为适应度函数fitness,在表 1 给定超参数的搜索范围内,贝叶斯优化算法搜寻使 fitness 达到最大值的一组超参数解,fitness表达式如下:fitness=0.1mAP0.5+0.9mAP0.5:0.95(5)其中,mAP0.5、mAP0.5:0.95分别表示阈值 IOU=0.5 和IOU 步长 0.05 从 0.5 到 0.95 的均值平均精度.为了自适应寻优 YOLOv5-BRDB 超参数,设计了算法 1.
27、算法 1.贝叶斯算法优化 YOLOv5-BRDB 模型超参数输入:训练集记为 Dt,验证集记为 Dv;YOLOv5-BRDB 需要优化的超参数 X;N 为最大迭代次数.输出:适应度值 fitness 及超参数最优值 vopt.Initialization:随机产生初始化点1whiletN:2最大化采集函数选择下一个评估点xt=argmaxxX(x);3训练模型得到模型参数mxA(xt,Dt);4在验证集上计算式(5)适应度值fitness=A(mx,Dv);5iffitness0.45:6结束算法;7endif8更新高斯代理模型及最优超参数值 vopt;9t=t+1;10endwhile11r
28、eturnfitness 和vopt.3实验分析 3.1 实验环境及数据集金属表面缺陷超分辨率重建和检测的实验平台是64 位的 Windows10,学习框架 PyTorch,CPU 配置Intel(R)Core(TM)i5-9400FCPU2.90GHz,内存配置 16GB,显卡配置 NVIDIAGeForceRTX2060SUPER.本文对 GC10-DET 钢带缺陷数据集双三次插值退化为低分辨率数据,将 GC10-DET 原始图像和退化图像分别作为高分辨率图像和低分辨率图像训练多层融合超分辨率模型,其中 GC10-DET 划分为 1836 张训练集,229 张验证集及 229 张测试集.然
29、后用训练好的多层融合超分辨率模型对东北大学提供的 NEU-DET 钢带裂缝缺陷进行放大因子为 4 的超分辨率重建,最后用 YOLOv5-BRDB 对重建好的 NEU-DET 数据集进行金属表面缺陷检测,其中 NEU-DET 划分为 1440 张训练集、180 张验证集和 180 张测试集.3.2 评价指标金属表面缺陷超分辨率重建质量客观评估有峰值信噪比(peaksignal-to-noiseratio,PSNR)和结构相似度(structuralsimilarity,SSIM).PSNR 单位是分贝(dB),值越大表示重建质量越好16.PSNR=20log10(PmaxMSE)(6)其中,Pm
30、ax表示图像中像素最大值,MSE 为图像的均方差.SSIM 将图像的组成分为亮度、对比度和结构,并用均值估计亮度,标准差估计对比度、协方差估计结构,是目前超分辨率领域最常用的评估图像失真的指标之一,其值越大表示重建质量越好,数学表达式如下:SSIM=(2XX+C1)(2XX+C2)(2X2X+C1)(2X2X+C2)(7)XXXXXX2X2XX其中,、分别表示原图像 X 和 重建图像的均值.表示 X 和 的协方差.、分别表示 X 和 的方差.C1和 C2为常数.感知图像块相似度(perceptualimagepatchsimi-larity,LPIPS)和感知度(perceptualindex
31、,PI)辅助评估图像质量.LPIPS 是通过学习图像 patch 的相似度来评价图像质量,PI 是通过非参考图像度量指标 Ma 和 NIQE来评价图像质量,而 LPIPS 和 PI 值越低,表示图像边缘纹理细节越丰富,图像质量越好17.PI 计算公式如下:2023年第32卷第11期http:/www.c-s-计 算 机 系 统 应 用SoftwareTechniqueAlgorithm软件技术算法197PI=12(10Ma)+NIQE)(8)金属表面缺陷检测性能可用精确率(precision,p)、召回率(recall,r)、平均精度(averageprecision,AP)和平均精度均值(m
32、eanaverageprecision,mAP)这 4 个指标评估18.模型预测框和人工标注的真实框无法完全一致,根据匹配结果可分为:真正例(truepositive,TP)、真反例(truenegative,TN)、假正例(falsepositive,FP)和假反例(falsenegative,FN).精确率表示预测正确的正样本占所有预测为正样本的比例,反映了模型的分类能力.p=TPTP+FP(9)召回率表示预测正确的正样本占所有真实正样本的比例,反映了模型的检测能力.r=TPTP+FN(10)平均精度是以精确率为横坐标,召回率为纵坐标围成 P-R 曲线的面积,计算公式如下:AP=10p(r
33、)dr(11)均值平均精度是评估模型综合性能最重要的一个指标,具体表示 C 个缺陷类别的平均精度,计算公式如下:mAP=Ci=1APiC(12)金属表面缺陷检测模型实时性评估可用 FPS,FPS表示每秒传输的帧数,计算公式如下:FPS=1latency(13)其中,latency 表示模型前向传播时间(预处理时间、推理时间和后处理时间之和),单位是 s.3.3 基于贝叶斯优化的超参数自适应寻优结果实验以式(5)适应度函数为优化目标,寻找 YOLOv5-BRDB中 20 个关键超参数最优组合.鉴于贝叶斯优化算法评估一次 YOLOv5-BRDB 需要数个小时,评估代价较大,本文设置 YOLOv5-
34、BRDBepochs为 300,贝叶斯优化算法迭代次数 50,同时设置早停机制当 fitness0.45 终止算法.图 4 是适应度函数值随着迭代次数变化曲线,在迭代次数内,贝叶斯优化算法的探索和开发较为平衡,逐步向最优适应度值靠近.表 1 是超参数的寻优范围和最优值.000.10.20.30.40.51020Step304050fitness图 4贝叶斯算法优化 YOLOv5-BRDB 模型迭代曲线表 1自适应寻优超参数范围及最优值超参数范围最优值lr010E5,0.10.013996lrf0.01,10.020526momentum0.6,0.980.647074weight_decay0
35、,0.0010.000909warmup_epochs0,53warmup_momentum0,0.950.910152warmup_bias_lr0,0.20.100819box0.02,0.20.035449cls0.2,40.469695cls_pw0.5,21.970076obj0.2,40.330334obj_pw0.5,21.478280iou_t0.1,0.70.536596anchor_t2,85.991129hsv_h0,0.10.066167hsv_s0,0.90.002809hsv_v0,0.90.173768scale0,0.90.790272fliplr0,10.22
36、1771mosaic0,10.773895注:最优值小数点后保留6位图 5 是 YOLOv5-BRDB 超参数优化前后分别设置 epochs 为 500,准确率、召回率、mAP0.5、mAP0.5:0.95对比的条形图.由于精确率和召回率呈反相关,故优化后比优化前的精确率低,召回率优化前相比优化后提升4.58%,mAP0.5优化前相比优化后提升 3.07%,mAP0.5:0.95优化前相比优化后提升 10.34%,验证了本文贝叶斯优化算法的有效性.3.4 多层融合超分辨率重建模型实验本实验对 NEU-DET 数据集进行了放大因子为4 的超分辨率处理.表 2 对比了多层融合超分辨率重建计 算 机
37、 系 统 应 用http:/www.c-s-2023年第32卷第11期198软件技术算法SoftwareTechniqueAlgorithm模型与其他超分辨率模型的 PSNR、SSIM、LPIPS、PI 指标.PSNR、SSIM、LPIPS 和 PI 均优于其他超分辨率重建算法,表明本文多层融合超分辨率重建模型重建的图像质量更高.0.6990.6930.7530.7480.7710.3770.4160.7200.10.20.30.40.50.60.70.80.91.0指标优化前优化后值mAP0.5PrecisionRecallmAP0.5:0.95图 5寻优前后精确率,召回率,mAP0.5,m
38、AP0.5:0.95变化表 2在 NEU-DET 验证集上多层融合超分辨率模型与其他模型性能对比模型PSNR(dB)SSIMLPIPSPIEnhanceNet27.7320.7560.2033.486CX28.3390.7580.1963.567SRGAN28.5680.7630.1723.241RankSRGAN29.2510.7680.1543.124ESRGAN29.9980.7660.1352.986EUSR30.2630.7820.1684.582PPON30.5240.7860.1262.901本文30.9320.7880.1012.825注:表示值越高越好,表示值越低越好.黑色加
39、粗字体表示最优 3.5 贝叶斯优化的表面缺陷超分辨率检测实验本实验在小样本数据集下进行金属表面缺陷模型的训练及检测,batchsize 大小的设置影响模型的最终训练结果.图 6 是 batchsize 分别设置 4、8、16 时,模型训练 500 次的 mAP0.5变化曲线.mAP0.5值随着batchsize 变大而变小,两者在小样本金属表面缺陷数据集下呈负相关,故本文设置 batchsize 为 4.表 3 比较了原模型 YOLOv5、改进模型 YOLOv5-BRDB、YOLOv5-BRDB+多层融合超分辨率重建模型在 6 类金属表面缺陷下的精确率(precision)和 mAP0.5.在
40、 crazing 缺陷检测中,YOLOv5-BRDB 相比 YOLOv5精确率提升 30.74%,mAP0.5提升 33.77%,YOLOv5-BRDB+多层融合超分辨率重建模型相比 YOLOv5-BRDB 精确率提升 13.64%,mAP0.5提升 19.92%;在inclusion 缺陷检测中,YOLOv5-BRDB 相比 YOLOv5精确率提升 20.94%,mAP0.5提升 2.59%,YOLOv5-BRDB+多层融合超分辨率重建模型相比 YOLOv5-BRDB 精确率提升 1.46%,mAP0.5提升 2.64%;在patches 缺陷检测中,YOLOv5-BRDB 相比 YOLOv
41、5 精确率提升 7.5%,mAP0.5提升 1.38%,YOLOv5-BRDB+多层融合超分辨率重建模型相比 YOLOv5-BRDB 精确率提升 1.08%,mAP0.5提升 2.05%;在 pitted_surface缺陷检测中,YOLOv5-BRDB 相比 YOLOv5 精确率提升 2.04%,mAP0.5下降 0.11%,YOLOv5-BRDB+多层融合超分辨率重建模型相比 YOLOv5-BRDB 精确率提升 1.41%,mAP0.5提升 1.49%;在 rolled_in_scale 缺陷检测中,YOLOv5-BRDB 相比 YOLOv5 精确率提升12.19%,mAP0.5提升 11
42、.92%,YOLOv5-BRDB+多层融合超分辨率重建模型相比 YOLOv5-BRDB 精确率提升 3.23%,mAP0.5提升 3.11%;在 scratches 缺陷检测中,YOLOv5-BRDB 相比 YOLOv5 精确率提升 0.87%,mAP0.5提升 5.49%,YOLOv5-BRDB+多层融合超分辨率重建模型相比 YOLOv5-BRDB 精确率提升 2.1%,mAP0.5提升 1.17%.综合以上分析,验证了 YOLOv5-BRDB 和 YOLOv5-BRDB+多层融合超分辨率重建模型的有效性.000.20.40.60.8100200Step300400500mAP0.5batc
43、hsize=4batchsize=8batchsize=16图 6不同 batchsize 大小下 mAP0.5曲线表 3模型改进前后各类缺陷精度及均值平均精度变化(%)缺陷类型YOLOv5YOLOv5-BRDBYOLOv5-BRDB+多层融合超分辨率重建模型Precision mAP0.5Precision mAP0.5Precision mAP0.5crazing48.837.963.850.772.560.8inclusion67.881.182.083.283.285.4patches77.287.283.088.483.990.2pitted_surface83.587.385.28
44、7.286.488.5rolled_in_scale60.760.468.167.670.369.7scratches80.289.280.994.182.695.22023年第32卷第11期http:/www.c-s-计 算 机 系 统 应 用SoftwareTechniqueAlgorithm软件技术算法199图 7 是 YOLOv5-BRDB 在验证集上训练 500 次预测框损失、分类损失、置信度损失曲线.3 类损失曲线中,YOLOv5-BRDB 相比 YOLOv5 更平滑,鲁棒性更好.预测框损失和置信度损失曲线中,YOLOv5-BRDB相比 YOLOv5 损失值更低,说明预测框和标注框
45、更接近,可信度更高.其中分类损失曲线波动较大的原因可从图 8YOLOv5-BRDB+多层融合超分辨率重建模型的混淆矩阵分析,crazing、inclusion、pitted_surface、rolled_in_scale 这 4 类缺陷与背景相近,易被识别为背景,故分类损失曲线波动较大.(a)预测框损失函数0100200Step3004005000100200Step30040050000.0080.0100.0120.0140.0160.0180.0200.022100200StepLoss23456103Loss0.0250.0300.0350.040Loss300400500(b)分类损
46、失函数(c)置信度损失函数YOLOv5YOLOv5-BRDBYOLOv5YOLOv5-BRDBYOLOv5YOLOv5-BRDB图 7预测框、分类、置信度损失函数图 8 是 YOLOv5-BRDB+多层融合超分辨率重建模型的混淆矩阵,水平轴表示真实的缺陷类别,垂直轴表示预测的缺陷类别,CR 表示 crazing,IN 表示inclusion,PA 表示 patches,PS 表示 pitted_surface,RI 表示 rolled_in_scale,SC 表示 scratches,BG 表示背景.图中对角线表示正确分类的比例,底部行表示错误将缺陷分类为背景的比例,右侧列表示错误将背景分类为
47、缺陷的比例.图 8 中底部水平行 CR、IN、PS、RI 值较大,表示这 4 种缺陷被分类为背景的比例较大;右侧垂直列 CR、IN、PA、PS、RI、SC 值较大,表示背景被分类这 6 类缺陷的比例较大;分析是由于 NEU-DET 数据集类间差距小、类内差距大、缺陷与背景相近导致.CR0.90.80.70.60.50.40.30.20.10INPAPSRISCBG0.030.390.180.060.210.130000000.920.0800000.6900.310000.75000.25000.90000.100.8100000.190.27000000.73CRINPAPSTruePred
48、ictedRISCBG图 8YOLOv5-BRDB+多层融合模型混淆矩阵表 4 对比了 YOLOv5-BRDB 与 FasterRCNN19,YOLOv320,YOLOv5 和 2022 年最新 YOLOv7-tiny21在 NEU-DET 数据集上的综合检测性能.YOLOv5-BRDB 相比 YOLOv7-tiny 参数量稍大,但是 mAP0.5较 YOLOv5 提升 4.55%,mAP0.5:0.95较 YOLOv5 提升2.42%,FPS 较 YOLOv5 提升 22.51%;mAP0.5较YOLOv7-tiny 提升 2.62%,mAP0.5:0.95较 YOLOv7-tiny提升 2
49、.42%,FPS 较 YOLOv7-tiny 提升 132.76%,验证YOLOv5-BRDB 有更高的检测精度和更快的检测速度.表 4本文检测算法与其他检测算法性能对比模型mAP0.5mAP0.5:0.95Param(MB)FPSFasterRCNN0.6770.37220923YOLOv30.6820.37516255YOLOv50.7480.3987.0383YOLOv7-tiny0.7620.3986.0244YOLOv5-BRDB0.7820.4026.82102计 算 机 系 统 应 用http:/www.c-s-2023年第32卷第11期200软件技术算法SoftwareTech
50、niqueAlgorithm图 9 是 YOLOv5、YOLOv7-tiny、YOLOv5-BRDB这 3 种模型对 6 种缺陷:crazing,inclusion,patches,pitted_surface,rolled_in_scale,scratches 的检测结果对比,YOLOv5-BRDB 相比 YOLOv5 和 YOLOv7-tiny 两种模型,能够检测出复杂背景下的密集缺陷和小目标缺陷.(a)缺陷图像(b)YOLOv5(c)YOLOv7-tiny(d)YOLOv5-BRDB图 9不同算法检测可视化比较4结论本文提出一种基于贝叶斯优化的金属表面缺陷超分辨率检测算法.通过构建多层融
