1、第 61 卷 第 10 期Vol.61 No.102023 年 10 月October 2023农业装备与车辆工程AGRICULTURAL EQUIPMENT&VEHICLE ENGINEERINGdoi:10.3969/j.issn.1673-3142.2023.10.035基于 YOLOv4 算法的骑乘人员头盔佩戴的远程检测李明,杜茂华（650500 云南省 昆明市 昆明理工大学 机电工程学院）摘要 针对现有头盔检测模型易将非骑行者纳入检测范围的错误识别问题，提出将人与车整体标定的方法来制作骑行者佩戴头盔数据集，然后采用 YOLOv4 算法进行模型训练，可以正确识别出骑行状态与非骑行状态。
2、通过二分K-means算法对拟识别目标先验框进行聚类分析，采用分步训练方式优化学习权重，识别精度达到了90.8%。其次，为了将交通执法人员从危险环境解放出来，提出网络摄像头截取视频流并通过以太网输入到 PC 端 YOLOv4 模型中的方法，替代人工实现远程检测。实验表明，该方案能正确识别出视频中骑行人员有无佩戴头盔，证明了该方案的有效性。关键词 摩托车头盔；远程监测；YOLOv4 算法；二分 K-means 算法；网络摄像头 中图分类号 TP391.41；U495 文献标志码 A 文章编号 1673-3142(2023)09-0159-06引用格式：李明,杜茂华.基于 YOLOv4 算法的骑乘
3、人员头盔佩戴的远程检测 J.农业装备与车辆工程,2023,61(10):159-164.Remote detection of helmets for riders based on YOLOv4LI Ming,DU Maohua(School of Mechanical and Electrical Engineering,Kunming University of Science and Technology,Kunming 650500,Yunnan,China)Abstract Traffic in cities is complex,which causes traffic acci
4、dents easy to happen.When motorcycle riders wear helmets during riding,their accidental injuries can be reduced to a certain extent.Therefore,it is of great significance to carry out remote detection on whether riders wear helmets or not during riding.Aiming at the erroneous identification problem t
5、hat exists in current helmet detection models which tend to include non-cyclists in the detection range,the model in this paper proposed the method of overall calibration of taking people and motorcycles as a whole to produce helmet wearing data sets of cyclists,and then YOLOv4 algorithm was used fo
6、r model training,so that the cycling state and non-cycling state could be correctly identified.The binary K-means algorithm was used to perform clustering analysis on the priori frame of the target to be recognized,and the learning weight was optimized by step training method,and the recognition acc
7、uracy reached 90.8%.Secondly,in order to liberate the traffic law enforcement personnel from the dangerous environment,a method was proposed to capture the video stream by webcam and input it to YOLOv4 model at PC terminal through Ethernet instead of manual so that remote detection could be achieved
8、.Experimental results showed that the scheme could correctly identify whether the cyclists were wearing helmets in the video,which proved the effectiveness of the scheme.Key words motorcycle helmet;remote monitoring;YOLOv4;binary K-means;webcam0 引言摩托车、电动车、自行车等骑乘交通工具以其便捷、便宜、环保等特点受到出行者的广泛欢迎，但这类骑乘人员在驾驶
9、过程中完全暴露于道路之中，容易在交通事故中伤亡。2019 年，我国共发生交通事故 244 058 起，其中摩托车、非机动车、自行车交通事故发生数共 76 967 起，占比约为 31.54%。摩托车、非机动车、自行车发生交通事故致死人数占总交通事故死亡人数的24.91%1。骑行头盔是骑乘交通工具不可缺少的一部分，可以有效减少发生交通事故时的伤亡。近几年全国各地陆续开始实施相关法规，要求骑乘者必须佩戴安全头盔。在各个交通要道安排执勤人员检测骑乘者头盔佩戴情况，但是这种检测方式效率低、漏检率高，对执勤人员的生命安全也存在一定威胁。近十年人工智能崛起，机器学习代替了人工学习，极大地提高了工作效率，尤其
10、在图像处理领域，深度学习成果显著。采用深度学习网络对骑行人员进行头盔佩戴检测能有效解决当前所存在的问题。目前，基于深度学习的目标检测算法主要分为收稿日期：2022-09-19160农业装备与车辆工程 2023 年2 类：（1）两阶段（Two-stage）算法，如 RCNN2（Region-proposal Convolutional Neural Network）、Fast R-CNN3、Faster R-CNN4、R-FCN5（Region-based fully convolutional network）、Mask R-CNN6等；（2）单阶段（One-stage）算法，如 SSD7（S
11、ingle Shot MultiBox Detector）、YOLO8（You Only Look Once）等。这 2 类算法的区别在于是否需要生成候选框。一般而言，使用两阶段算法的模型在预测精度上表现优秀，但 2 步计算方式增加了计算成本，影响网络训练速度。YOLO、SSD 等单阶段算法将目标边框定位问题转化为回归问题，可以进行端到端检测，因为没有候选框，所以速度快、实时性好，被广泛应用于工程实际中。头盔检测应用的场景是车水马龙的交通道路，环境复杂，且人流车流量大。不但要对庞大的车流人流进行分析，还要从中识别出骑行者有无佩戴头盔，所以对模型运算精度和实时性都有较高的要求。因此，本文采用具有
12、较高精度且时效性更好的单阶段算法 YOLOv4 模型。传统检测方法将待检测目标划分为 2 部分：骑车人和骑乘工具9-10，这样制作的数据集极易将非骑行人员纳入识别范围，增加了拟识别对象的数目，也就增加了计算量和计算过程，所以在人员密集环境下的检测精度不高。为此，本文采用人与车整体标定的方法，即在制作数据集时，将骑车人与骑乘工具标定为一个整体。这样，训练出的网络就可有效地将骑车者与非骑车者区别开来；同时，为了实现远程监控功能，采用以太网搭配网络摄像头的方式，将现场采集的视频流通过以太网实时输送到 YOLOv4 模型中进行分析预测，以实现远程目标的检测。1 YOLOv4 算法原理2020 年 4
13、月，Bochkovskiy 等11在 前 3 版YOLO 模型的基础上，提出了 YOLOv4 的网络模型，该 模 型 将 Cross-Stage-connection（CSP）、Self-adversarial-training（SAT）、Mosaic data augmentation 等技术融合，使 YOLOv4 性能得到大幅度提高。图 1 所示为各神经网络的性能对比。与 YOLOv3 相比 YOLOv4 网络主要有以下改进：（1）使用 CSPDarknet5312代替 Darknet53 作为特征提取网络，目的是解决复杂卷积神经网络框架主干中网络优化梯度信息重复的问题13。CSPDark
14、net53 模块示意图如图 2 所示；（2）使用SPP14网络作为 Neck 的附加模块，主要解决输入图像尺寸与所要求尺寸不匹配、对图像进行拉伸和裁剪时易失真的问题。该方法应用于 YOLOv4 中，增强了网络感受野。网络结构示意图如图 3 所示；（3）使用 PANet15作为 Neck 的特征融合模块，进一步加强了 YOLOv4 的特征提取能力。2 实验实验平台是 Windows10(64位)操作系统，CPU为 AMD Ryzen 7 4800H，2.9 GHz，GPU 为 NVIDIA GTX1650Ti，显存为 4 G。CUDA 版本为 10.2，CuDNN 版本为 7.6.5，采用的编程
15、语言为 Python3.7。2.1 数据集制作为了适应在复杂交通环境中对来往骑行车辆进行头盔检测，本文采用网络爬取图片加摄像头拍摄的方式制作数据集。网络爬取的目的是收集不同拍摄角度骑行状态的图片，便于后期模型能学到多种特征，进而提高检测的精度。摄像头拍摄马路上真实交通状态，一张图片中包含多个检测目标，有利于后期训练出的模型对密集目标的检测，更好地拟合实际交通情况。图片采集情况如图 4 所示。为了解决现有模型9错误地将行人判定为待检测目标的问题，本文采用整体标定的方式对拟检测目标进行标定，使得模型检测的范围锁定为骑行者而非其他目标，整体标定例图如图 5 所示。因为对目标进行检测属于监督学习的范畴
16、，所以要对训练集中待检测的目标进行位置和类别的标注。采用图 2 CSPDarknet53 模块示意图Fig.2 CSPDarknet53 module diagramCBM CSP1 CBM CSP2 CBM CSP3 CBM 2 2 2YOLOv4 BackBoneCBM CSP8 CBMCBM CSP4 CBM19196086083CBM=ConvBNMishResUnit=CBL CBLaddCSPxCBLCBLConcatCBL=ResUnitx个残差组件图 1 各神经网络的性能对比Fig.1 Performance comparison of each neural network1
17、0 30 50 70 90 110 130FPS(V100)5048464442403836343230APMS COCO Object DetectionEfficlentDetYOLOv4ASFF*YOLOv3ATSSCenterMask*161第 61 卷第 10 期Labeling 软件对图片进行逐一标注，生成 xml 文件，文件格式如图 6 所示。本次数据集一共采集 1 500张图片，其中 75%作为训练集，25%作为测试集。2.2 二分 K-means 先验框聚类分析对于一个给定的样本，样本里包含 n 个对象，X=X1,X2,X3,Xn，随机设置 K 个特征空间内的点作为初始的聚类
18、中心 m1,m2,m3,mk，然后计算每个点到 K 个中心的欧式距离，未知的点选择最近的一个聚类中心点作为标记类别。欧式距离表达式为,dis X mXmiiititm21=-=hh/(1)式中：Xi第 i 个对象；mi第 i 个聚类中心；Xit第 i 个对象的第 t 个属性。采用误差二次方和准则函数作为聚类准则函数，误差二次方和 J 为Jxmijijnik112i=-=h/(2)式中：ni第 i 个聚类样本点数量；mi第 i个聚类中心；Xij第 i个聚类中的第 j个样本点。本实验所涉及的对象只有戴头盔与未带头盔 2种，因此需要重新对先验框进行聚类分析。K-means算法具有收敛速度快、聚类效果
19、较好的优点，但得到的结果和运行时间容易受初始聚类中心的影响，一旦初始聚类中心选取不恰当，就容易造成局部最优解。为了解决局部最优解问题，本实验采用二李明 等：基于 YOLOv4 算法的骑乘人员头盔佩戴的远程检测图 3 YOLOv4 网络结构示意图Fig.3 Schematic diagram of YOLOv4 network structure图 4 图片采集Fig.4 Image acquisition图 6 xml 文件Fig.6 xml fileCBM CSP1 CBM CSP2 CBM CSP3 CBM 2 2 22.BackBone1.输入端CBM CSP8 CBMCBM CSP4
20、CBM CBLSSP CBL6086083CBM=ConvBNMishCBL=ConvBNLeaky ReLUResUnit=CBL CBLaddCSPxCBLCBLConcatCBL=ResUnitx个残差组件CBL 上采样CBLCBLConcatCBL 上采样ConcatConcatConcatCBLCBLCBLCBLCBLCBL 3 3 5 5 5 5CBL ConvCBL ConvCBL Conv3.Neck3.Prediction38 38 25576 76 25519 19 255SSPMaxpoolMaxpoolMaxpoolConcat图 5 整体标定示意图Fig.5 Over
21、all calibration diagram162农业装备与车辆工程 2023 年分 K-means 算法对先验框进行聚类分析。该算法不需要选择初始聚类中心，由一个样本集分裂后得到 2 个簇，对于 K 个簇则进行 K-1 次分裂，具体流程如图 7 所示16。实验得到在 K=9 时先验框最优，分别为（35，84）、（80，118）、（115，162）、（92，282）、（151，219）、（148，441）、（223，338）、（285，500）、（431，543）。之后再将新的聚类结果更新到 YOLOv4 的配置文件中进行训练。2.3 模型训练首先修改 YOLOv4 相关配置文件，本次实验选
22、择迭代次数为 8 000 次，学习率使用分步策略。训练结果如图 8 所示。从图 8（a）可以看出，未采用二分 K-means算法之前所标定的先验框在训练过程中的 mAP 波动较大，mAP=78.4%；图 8（b）采用二分 K-means算法对整体标定数据集的先验框聚类分析训练时的mAP 处于较平稳状态，mAP=90.8%，因此，采用改进算法后的准确率有很大提升，如表 1 所示。表 1 2 种方法的训练准确率比较Tab.1 Comparison of training accuracy between the two methods评价指标改进前二分K-means聚类分析+整体标定平均准确率mA
23、P/%78.490.8损失函数 Loss0.668 70.548 42.4 目标检测改进前后的目标检测效果如图9所示。图9（a）为改进前模型检测结果，在预测的过程中将图片中间的步行者视为待检测目标，对其进行有无佩戴头盔的判定，造成了错检，且容易对远处目标漏检。图 9（b）为改进后效果，模型能正确识别出骑行者与非骑行者，只对骑行者进行头盔检测。3 远程检测本文采用网络摄像头+以太网的方式，实现对目标的远程检测，且 YOLOv4 网络模型的检测精度远远高于人工检测，可将执法人员从危险的执法环境中脱离出来3.1 传输设备网络摄像头型号 MC-E25，长宽为 38 mm 38 mm，约 60 g，工作
24、电压 DC12 V、电流 2 A。该摄像头可适应环境温度最高为 85，完全适用于本文要求的实验环境，还具有一个型号为 RJ45 的10/100 M 自适应以太网接口，以太网接口具有通讯图 7 二分 K-means 算法流程图Fig.7 Flow chart of bisection K-means algorithm开始设定聚类中心数量 K 和二次分类次数 Q初始化样本点为一个簇表取出未分裂簇表，i 为 1随机初始 2 个聚类中心计算样本点到聚类中心距离归类样本点到最近聚类中心的簇更新聚类中心计算簇的质心计算 J，i+1选择 J 最小 2 个簇添加至簇表，簇数量 n+1结束iQnK否否否是是簇
25、无变化20.018.016.014.012.010.08.06.04.02.00.0100908070605040302010065损失818883 8370788077737773（a）73全类平均准确率损失函数0 800 1 600 2 400 3 200 4 000 4 800 5 600 6 400 7 200 8 000迭代次数准确率/%10090807060504030201007586907991949394928889888990（b）图 8 实验结果对比Fig.8 Comparison of experimental results（a）未改进前（采用 K-means 算法）
26、（b）采用整体标定+二分 K-means 聚类分析准确率/%全类平均准确率损失函数20.018.016.014.012.010.08.06.04.02.00.0损失0 800 1 600 2 400 3 200 4 000 4 800 5 600 6 400 7 200 8 000迭代次数163第 61 卷第 10 期速率高、通讯稳定的特性，能确保网络摄像头采集的环境图像快速、稳定地传输至 PC 端。该网络摄像头像素为 400 万，焦距为 4 mm，可观察至 20 m处物件轮廓，主码流帧数 25 FPS，支持即时串流协议 RTSP（Real Time Streaming Protocol）、O
27、NVIF（Open Network Video Interface Forum）、HTTP、P2P 等视频流网络协议以及 NVR（Network Video Recorder）对接协议。3.2 远程传输和检测首先使用 ONVIF 获取网络摄像头的 RTSP 地址。ONVIF 使不同网络摄像头具有互通性，同时可以利用 ONVIF 协议来实现对网络摄像头的信息获取，如获取 RTSP 地址信息、实时视频流与音频等。而 RTSP 则是用于实现视频或音频的多媒体串流，可以使用 TCP（Transmission Control Protocol）或 UDP（User Datagram Protocol）来
28、实现信息传输，另外可以实现多个串流控制，即可以同时获取多个网络摄像头的视频或音频信息。在获取网络摄像头 RTSP 地址后，可将其输入到摄像头显示软件中，如图 10 所示。在图 11 中所显示的 MC-E25 网络摄像头的 RTSP 地址为“rtsp:/admin:123456192.168.0.123:554/mpeg4”，该地址中“rtsp”为协议类型，“192.169.0.123”为网络摄像头 IP 地址，“554”为网络端口，“mpeg4”表示获取主码流。PC 端根据 RTSP 地址获取视频流信息，之后再将截取后的视频流通过以太网导入YOLOv4 的网络模型中进行预测，最终的显示效果如图
29、 11 所示。图 11（a）为网络摄像头获取视频流，通过以太网实时输送到 PC 端的 YOLOv4 模型中，对画面中佩戴头盔的对象做出了正确的识别；图 11（b）为对未佩戴头盔对象做出了正确识别。4 结论在使用相同 YOLOv4 模型的条件下，一方数据集采用整体标定的方式进行制作，另一方采用非整体标定的方式进行制作。结果表明，整体标定的数李明 等：基于 YOLOv4 算法的骑乘人员头盔佩戴的远程检测（a）（b）图 9 改进前后的检测效果比较Fig.9 Comparison of detection effect before and after improvement（a）改进前 （b）二分
30、K-means 聚类分析+整体标定图 10 输入 RTSP 地址Fig.10 Input the RTSP address（a）（b）图 11 网络摄像头远程实时监控Fig.11 Remote real-time monitoring by webcam（a）对戴头盔识别 （b）对未戴头盔识别164农业装备与车辆工程 2023 年据集所训练出来的网络模型能够对非骑行状态下与骑行状态下的 2 种状态进行区分，更加适用于真实的交通环境。为了提高检测精度，通过二分K-means算法对先验框进行聚类分析，得到一组最适合该实验条件的 9 组先验框，采用分步训练方式优化学习权重，平均准确率 mAP 达到了
31、 90.8%；其次，为了将执法者从危险的交通环境中脱离出来，采用网络摄像头+以太网进行远距离的传输，最终实现了在 PC 端进行远程检测。因此，使用此方法使得骑乘人员头盔佩戴的远程检测成为可能。参考文献1 国家统计局.中国统计年鉴 M.北京:中国统计出版社,2019.2 GIRSHICK R,DONAHUE J,DARRELL T,et al.Rich feature hierarchies for accurate object detection and semantic segmentationC/Proceedings of the IEEE conference on computer
32、 vision and pattern recognition.2014:580-587.3 GIRSHICK R.Fast r-cnnC/Proceedings of the IEEE international conference on computer vision.2015:1440-1448.4 REN Shaoqing,HE Kaiming,GIRSHICK R,et al.Faster R-CNN:Towards real-time object detection with region proposal networksJ.Advances in neural inform
33、ation processing systems,2015,28.5 DAI Jifeng,LI Yi,HE Kaiming,et al.R-FCN:Object detection via region-based fully convolutional networksJ.Advances in neural information processing systems,2016,29.6 HE Kaiming,GKIOXARI G,DOLLR P,et al.Mask R-CNNC/Proceedings of the IEEE international conference on c
34、omputer vision,2017:2961-2969.7 LIU Wei,ANGUELOV D,ERHAN D,et al.SSD:Single shot multibox detectorC/European conference on computer vision.Springer,Cham,2016:21-37.8 REDMON J,DIVVALA S,GIRSHICK R,et al.You only look once:Unified,real-time object detectionC/Proceedings of the IEEE conference on compu
35、ter vision and pattern recognition.2016:779-788.9 薛瑞晨,郝媛媛,张振,等.基于改进 YOLOv3 的头盔佩戴检测算法 J.电子测量技术,2021,44(12):115-120.10 刘琛,王江涛.基于RFB-Net的摩托车驾驶人头盔检测研究J.太原科技大学学报,2021,42(06):496-500.11 BOCHKOVSKIY A,WANG C Y,LIAO H Y M.YOLOv4:Optimal speed and accuracy of object detectionJ,2020.12 WANG C Y,LIAO H Y M,WU
36、Y H,et al.CSPNet:A new backbone that can enhance learning capability of CNNC/Proceedings of the IEEE/CVF conference on computer vision and pattern recognition workshops,2020:390-391.13 谷玉海,曹梦婷,修嘉芸,等.基于 YOLO4 网络的违章行为检测算法 J.重庆理工大学学报(自然科学),2021,35(8):114-121.14 HE Kaiming,ZHANG Xiangyu,REN Shaoqing,et
37、al.Spatial pyramid pooling in deep convolutional networks for visual recognitionJ.IEEE transactions on pattern analysis and machine intelligence,2015,37(9):1904-1916.15 LIU Shu,QI Lu,QIN Haifang,et al.Path aggregation network for instance segmentationC/Proceedings of the IEEE conference on computer
38、vision and pattern recognition,2018:8759-8768.16 傅云龙,梁丹,梁冬泰,等.基于机器视觉与 YOLO 算法的马铃薯表面缺陷检测 J.机械制造,2021,59(08):82-87.作者简介 李明，硕士研究生，研究方向：智能制造、图像处理、深度学习等。E-mail：通信作者 杜茂华，博士，副教授，研究方向：高速切削加工技术、计算机加工仿真技术、有限元模拟、智能制造。E-mail：而阶梯钻在超声振动钻削下产生切屑均为片状，并随着刀具运动及时排出；（3）阶梯钻常规和超声振动钻削下，孔壁能量损伤对比麻花钻分别降低了 19.5%和 42.7%，这表明阶梯钻在
39、耦合超声振动钻削后，能大幅提升孔壁的加工质量。参考文献1 RAHMAN M,SEAH W K H,TEO T T.The machinability of Inconel 718J.Journal of Materials Processing Technology,1997,63(1):199-204.2 ZHOU Jinming,BUSHLYA V,AVDOVIC P,et al.Study of surface quality in high speed turning of Inconel 718 with uncoated and coated CBN toolsJ.The Inte
40、rnational Journal of Advanced Manufacturing Technology,2012,58(1-4):141-151.3 BHADURI D,SOO S L,NOVOVIC D,et al.Ultrasonic assisted creep feed grinding of Inconel 718J.Procedia CIRP,2013,6(C):615-620.4 WANG Jun,ZHANG Qiang.A study of high-performance plane rake faced twist drills.:Part I:Geometrical
41、 analysis and experimental investigationJ.International Journal of Machine Tools and Manufacture,2008,48(11):1276-1285.5 KHANNA N,AGRAWAL C,GUPTA M K,et al.Tool wear and hole quality evaluation in cryogenic drilling of Inconel 718 superalloyJ.Tribology International,2020,143(C):106084-106084.6 LIU J
42、 Y,LI A H,ZHANG J C,et al.Performance of high-speed steel drills in wet drilling Inconel 718 superalloyJ.Experimental Techniques,2022:1-12.7 贾民飞,王书利,仉智宝,等.钻削镍基高温合金小孔的试验研究 J.工具技术,2018,52(8):44-46.8 田英健,邹平,康迪,等.GH4169 高温合金轴向超声振动钻削加工实验研究 J.电加工与模具,2017(4):48-51.9 CHEN Guangjun,XU Jinkai,LIAN Zhongxu,et
43、al.Study on the amplitude effect on micro-hole drilling of AISI 4340 by ultrasonic vibrationJ.The International Journal of Advanced Manufacturing Technology,2021,116(7-8):1-17.10 王蕾,封军阳.超声振动钻削加工中刀具轴向力的仿真试验研究 J.工具技术,2021,55(11):21-24.11 田英健,邹平,康迪,等.GH4169 高温合金轴向超声振动钻削加工实验研究 J.电加工与模具,2017(4):48-51.作者简介 王宙彪（1995-），男，硕士研究生，研究方向：机械设计制造及其自动化。E-mail：（上接第150页）
