1、第 49卷 第 10期2023年 10月Computer Engineering 计算机工程多层渐进式特征对齐网络优化的空地影像稳健匹配张欢1，黄涛1，许俊杰1，徐川1，杨威2（1.湖北工业大学 计算机学院，武汉 430068；2.武昌首义学院 信息科学与工程学院，武汉 430064）摘要：精细三维模型是智慧城市建设的关键空间基础信息，而视角变化、遮挡等因素导致基于航空影像生成的三维模型容易出现边缘不准确、孔洞以及建筑物立面纹理模糊等问题。地面影像可以很好地解决倾斜摄影建模底部缺失与区域遮挡的问题，因此，提出一种轻量化多层渐进式特征对齐网络优化的空地影像匹配方法，以实现空地影像的稳健匹配，为城
2、市建模提供一定的技术支撑。设计多层渐进式匹配网络优化策略，利用 EfficientNet-B3预训练模型的高层特征图进行双向匹配，取双向匹配的交集作为初始匹配点集。根据初始匹配点对，采用 RANSAC策略计算初始单应矩阵，运用该矩阵对地面影像进行图像变换，得到近似空中视角的影像，从而完成特征匹配与粗差剔除。针对空中影像和近空视角影像，在前面多层特征图上进行匹配和优化。在每一层特征图上都计算该层特征图的匹配和对上层匹配点对的位置校正，最终得到精确的匹配点集。以无人机 DJI-MAVIC2拍摄的航空影像及手持设备拍摄的地面影像等 8组典型数据作为对象进行实验，结果表明，与 SIFT、D2-net、
3、DFM 等方法相比，该方法具有良好的匹配性能，平均同名点匹配数量较次优方法提升了 1.3倍。关键词：三维模型；多层渐进式特征对齐网络；空地影像；渐进式匹配与优化；图像匹配开放科学（资源服务）标志码（OSID）：中文引用格式：张欢，黄涛，许俊杰，等.多层渐进式特征对齐网络优化的空地影像稳健匹配 J.计算机工程，2023，49（10）：178-185.英文引用格式：ZHANG H，HUANG T，XU J J，et al.Robust matching of aerial-ground images optimized by multi-layer progressive feature alig
4、nment network J.Computer Engineering，2023，49（10）：178-185.Robust Matching of Aerial-Ground Images Optimized by Multi-Layer Progressive Feature Alignment NetworkZHANG Huan1，HUANG Tao1，XU Junjie1，XU Chuan1，YANG Wei2（1.School of Computer Science，Hubei University of Technology，Wuhan 430068，China；2.School
5、 of Information Science and Engineering，Wuchang Shouyi University，Wuhan 430064，China）【Abstract】Fine 3D models provide the key spatial basic information for smart city construction.However，factors such as perspective changes and occlusion lead to inaccurate edges，holes，and blurry building facade text
6、ures in 3D models generated from aerial images.Ground images can effectively solve the problems of missing bottoms and regional occlusion in oblique photography modeling.Therefore，a lightweight aerial-ground image matching method optimized by multi-layer progressive feature alignment is proposed to
7、achieve robust matching of aerial-ground images and provide certain technical support for urban modeling.A multi-layer progressive matching network optimization strategy is designed，utilizing the high-level feature maps of the EfficientNet-B3 pre-trained model for bidirectional matching by taking th
8、e intersection of the bidirectional matching as the initial matching point set.Based on initial matching point pairs，the RANSAC strategy is used to calculate the initial homography matrix，thereby using it to transform the ground image，to obtain an image with an approximate aerial perspective，which c
9、ompletes feature matching and gross error removal.For aerial and near-field perspective images，matching and optimization are carried out on the previous multi-layer feature maps.In calculating the matching of each layers feature map，the position of the upper layers matching point pairs is corrected
10、on each layers feature map，to ultimately obtain an accurate set of matching points.Experiments are conducted on eight sets of typical data，including aerial images captured by the drone DJI-MAVIC2 and ground images captured by handheld devices.The results demonstrate that the proposed method has good
11、 matching 基金项目：国家自然科学基金（41601443）；湖北工业大学博士启动基金（BSQD2020056）；湖北省自然科学基金面上项目（2022CFB501）；湖北省教育厅科学技术研究项目（B2021351）。作者简介：张 欢（1997），男，硕士，主研方向为图像匹配；黄 涛、许俊杰，本科生；徐 川（通信作者）、杨 威，副教授、博士。收稿日期：2022-10-10 修回日期：2022-12-08 Email：图形图像处理文章编号：1000-3428（2023）10-0178-08 文献标志码：A 中图分类号：TP391performance compared to SIFT，D2-
12、net，DFM，and other methods，with an average 1.3x increase in the Number of Correct Matches（NCM）compared to the suboptimal method.【Key words】3D model；multi-layer progressive feature alignment network；aerial-ground image；progressive matching and optimization；image matchingDOI：10.19678/j.issn.1000-3428.0
13、0659490概述 精细化三维模型作为地理空间信息的重要表征，在智慧城市建设的城市规划、管理和交通等方面发挥了关键作用，倾斜影像等航空影像因具有大范围的场景感知能力而成为当前城市精细化三维建模的常用数据源。然而，在复杂城市区域（如遮挡问题严重的高楼密集区），视角变化、遮挡等因素导致基于航空影像生成的三维模型容易出现边缘不准确、孔洞以及建筑物立面纹理模糊等问题，因此，单一的空中影像并不具有复杂的建筑立面表示能力，而地面影像作为空中视角的重要补充，发展联合空地影像的三维建模可有效解决立面纹理模糊和模型孔洞问题。为满足联合空地影像的三维建模需求，首先需要解决空地影像的匹配问题。然而，由于拍摄角度的不
14、同以及光照的差异，导致空地影像间存在较大视角差异以及同名区域遮挡和畸变问题，给空地影像特征匹配带来了极大的困难1-3。目前，图像匹配方法大致可以分为 3 类，即基于区域的匹配、基于特征点的匹配以及基于深度学习的匹配。基于区域的匹配方法通常采用一个合适的区域相似性度量策略来进行图像间的像素级匹配。该类方 法 计 算 成 本 高，对 尺 度 变 化 及 视 角 变 化 比 较敏感4-6。基于特征点的匹配方法主要通过度量特征描述子的距离来实现特征点匹配，从最初的基于图像灰度的角点检测算法 Harris7以及 SIFT（Scale Invariant Feature Transform）算法8开始，特
15、征匹配方法应用广 泛，发 展 迅 速，相 继 出 现 了 ORB9、PCA-SIFT（Principle Component Analysis SIFT）10、SURF（Speed Up Robust Feature）11、ASIFT（Affine SIFT）12、联合对数极坐标描述与位置尺度特征13且局部结构约束的相位一致性匹配14等匹配方法。这些方法对尺度、旋转、视角变化有一定的适应性，对计算时效性也进行了有效的探索，但是在存有显著视角差异与畸变的空地影像匹配上，这些方法匹配效果较差甚至匹配失败。随着人工智能的兴起，深度学习在图像匹配中的应用越来越广泛，相继出现了基于学习的不变特征变换 L
16、IFT 方法15、基于深层特征匹配的 DFM 方法16、基 于 全 卷 积 特 征 图 像 块 描 述 的 Siamese 网络17、基于图神经网络的 SuperGlue方法18以及联合梯度描述符的空天匹配网络19等方法。借助深度学习强大的特征学习能力，这些方法在视角变化较小时匹配性能较好，但是由于网络结构的特殊性以及未充分利用特征信息，导致这些方法对空地影像匹配的泛化性不够。空地影像匹配的视角差异及同名区域遮挡导致匹配识别同名点较少甚至匹配失败等问题。如何提高空地影像同名区域的特征提取能力与匹配能力，构造空地视角特征的有效描述，实现空地影像稳健匹配，具有实际研究与应用价值。本文借助深度学习高
17、层的语义特征来构建空地特征的可靠描述，以进行粗匹配。利用粗匹配结果变换地面影像到空中视角，然后在空中视角上进行多层的匹配与优化。在此基础上，提出一种多层渐进式匹配网络优化的空地影像稳健匹配方法（MLFM），以克服空地匹配时存在的视角差异与畸变问题，实现空地影像的鲁棒匹配。1改进 DFM 方法 DFM16作为主流的图像匹配方法，将预训练过的 ResNet101网络作为图像局部特征的提取器，通过融合高层语义特征和低层局部特征来优化图像匹配过程，在倾角差异小的影像上取得了鲁棒的匹配效果，成为图像匹配领域一个新的范式。因此，本文算法借鉴 DFM 方法相关的匹配思想。空地影像由于拍摄角度的不同以及光照的
18、差异，往往会给图像匹配任务带来同名区域遮挡和畸变等问题，而遮挡区域和畸变区域由于局部邻域在空中和地面影像的表现形式不一致，因此需要较大的感受野或大尺度特征来捕捉稳定的特征描述。而在非遮挡区域和非畸变区域，空地影像同名点相同邻域的特征趋于一致，小尺度特征即可构成空地影像间的一致性描述，因此，此时不宜采用过大的尺度特征来进行同名点间的特征描述。为了兼顾小尺度特征和大尺度特征，本文采用能聚合多尺度特征的EfficientNet预训练模型来进行空地影像间的特征描述。EfficientNet 通过对网络深度和网络宽度的探索，利用一组缩放系数统一缩放这 2个维度，较好地融合了不同尺度的特征，在 Image
19、Net数据集上的分类 Top-1准确率远高于相同参数量级的其他网络，说明了 EfficientNet具有强大的特征提取能力。第 49卷 第 10期张欢，黄涛，许俊杰，等：多层渐进式特征对齐网络优化的空地影像稳健匹配performance compared to SIFT，D2-net，DFM，and other methods，with an average 1.3x increase in the Number of Correct Matches（NCM）compared to the suboptimal method.【Key words】3D model；multi-layer pr
20、ogressive feature alignment network；aerial-ground image；progressive matching and optimization；image matchingDOI：10.19678/j.issn.1000-3428.00659490概述 精细化三维模型作为地理空间信息的重要表征，在智慧城市建设的城市规划、管理和交通等方面发挥了关键作用，倾斜影像等航空影像因具有大范围的场景感知能力而成为当前城市精细化三维建模的常用数据源。然而，在复杂城市区域（如遮挡问题严重的高楼密集区），视角变化、遮挡等因素导致基于航空影像生成的三维模型容易出现边缘不
21、准确、孔洞以及建筑物立面纹理模糊等问题，因此，单一的空中影像并不具有复杂的建筑立面表示能力，而地面影像作为空中视角的重要补充，发展联合空地影像的三维建模可有效解决立面纹理模糊和模型孔洞问题。为满足联合空地影像的三维建模需求，首先需要解决空地影像的匹配问题。然而，由于拍摄角度的不同以及光照的差异，导致空地影像间存在较大视角差异以及同名区域遮挡和畸变问题，给空地影像特征匹配带来了极大的困难1-3。目前，图像匹配方法大致可以分为 3 类，即基于区域的匹配、基于特征点的匹配以及基于深度学习的匹配。基于区域的匹配方法通常采用一个合适的区域相似性度量策略来进行图像间的像素级匹配。该类方 法 计 算 成 本
22、 高，对 尺 度 变 化 及 视 角 变 化 比 较敏感4-6。基于特征点的匹配方法主要通过度量特征描述子的距离来实现特征点匹配，从最初的基于图像灰度的角点检测算法 Harris7以及 SIFT（Scale Invariant Feature Transform）算法8开始，特征匹配方法应用广 泛，发 展 迅 速，相 继 出 现 了 ORB9、PCA-SIFT（Principle Component Analysis SIFT）10、SURF（Speed Up Robust Feature）11、ASIFT（Affine SIFT）12、联合对数极坐标描述与位置尺度特征13且局部结构约束的相位
23、一致性匹配14等匹配方法。这些方法对尺度、旋转、视角变化有一定的适应性，对计算时效性也进行了有效的探索，但是在存有显著视角差异与畸变的空地影像匹配上，这些方法匹配效果较差甚至匹配失败。随着人工智能的兴起，深度学习在图像匹配中的应用越来越广泛，相继出现了基于学习的不变特征变换 LIFT 方法15、基于深层特征匹配的 DFM 方法16、基 于 全 卷 积 特 征 图 像 块 描 述 的 Siamese 网络17、基于图神经网络的 SuperGlue方法18以及联合梯度描述符的空天匹配网络19等方法。借助深度学习强大的特征学习能力，这些方法在视角变化较小时匹配性能较好，但是由于网络结构的特殊性以及未
24、充分利用特征信息，导致这些方法对空地影像匹配的泛化性不够。空地影像匹配的视角差异及同名区域遮挡导致匹配识别同名点较少甚至匹配失败等问题。如何提高空地影像同名区域的特征提取能力与匹配能力，构造空地视角特征的有效描述，实现空地影像稳健匹配，具有实际研究与应用价值。本文借助深度学习高层的语义特征来构建空地特征的可靠描述，以进行粗匹配。利用粗匹配结果变换地面影像到空中视角，然后在空中视角上进行多层的匹配与优化。在此基础上，提出一种多层渐进式匹配网络优化的空地影像稳健匹配方法（MLFM），以克服空地匹配时存在的视角差异与畸变问题，实现空地影像的鲁棒匹配。1改进 DFM 方法 DFM16作为主流的图像匹配
25、方法，将预训练过的 ResNet101网络作为图像局部特征的提取器，通过融合高层语义特征和低层局部特征来优化图像匹配过程，在倾角差异小的影像上取得了鲁棒的匹配效果，成为图像匹配领域一个新的范式。因此，本文算法借鉴 DFM 方法相关的匹配思想。空地影像由于拍摄角度的不同以及光照的差异，往往会给图像匹配任务带来同名区域遮挡和畸变等问题，而遮挡区域和畸变区域由于局部邻域在空中和地面影像的表现形式不一致，因此需要较大的感受野或大尺度特征来捕捉稳定的特征描述。而在非遮挡区域和非畸变区域，空地影像同名点相同邻域的特征趋于一致，小尺度特征即可构成空地影像间的一致性描述，因此，此时不宜采用过大的尺度特征来进行
26、同名点间的特征描述。为了兼顾小尺度特征和大尺度特征，本文采用能聚合多尺度特征的EfficientNet预训练模型来进行空地影像间的特征描述。EfficientNet 通过对网络深度和网络宽度的探索，利用一组缩放系数统一缩放这 2个维度，较好地融合了不同尺度的特征，在 ImageNet数据集上的分类 Top-1准确率远高于相同参数量级的其他网络，说明了 EfficientNet具有强大的特征提取能力。1792023年 10月 15日Computer Engineering 计算机工程2多层渐进式对齐网络匹配方法 本文提出的 MLFM 匹配方法包括 3个步骤：1）图像特征图生成。将待匹配图像 A、
27、B 传入EfficientNet-B316预训练网络模型中进行前向传播，得到图像 A、B的多层特征图。2）高层特征图粗匹配。首先，对 A、B 的高层特征图进行展平操作，得到特征图上多通道的所有像素点分数；然后，在多通道特征图上计算匹配图像到待匹配图像上每个像素点的距离并作为相似度匹配结果，取相似度高的两组匹配点对，采用最近邻距离比率的方法进行相似度度量，满足的点作为初始匹配点保留到同名点集中。3）多层特征图匹配与优化。首先，在上一步得到的初始匹配点对上计算由图像 B 到 A 的单应矩阵，在图像 B 上运用该单应矩阵得到与 A 近似视角的变换图像 C；然后，在多层特征图上对图像 A 和 C进行匹
28、配和优化，得到图像 A、C上精确的匹配点对；最后，运用单应矩阵逆变换得到 A、B上的匹配点对，将其作为最终的匹配点集。本文 MLFM 方法整体流程如图 1 所示（彩色效果见 计算机工程 官网 HTML版）。2.1高层特征图粗匹配2.1.1高层特征图生成由于空地影像间具有显著的视角变化，导致影像间存在较大的几何畸变、同名区域遮挡等问题，从而使得基于梯度主方向的匹配方法效果较差甚至匹配失败。近年来，卷积神经网络在图像分类、图像分割、图像去噪等任务中取得了优异的效果，体现了卷积神经网络强大的特征提取能力，而 EfficientNet-B320网络作为其中的一员，在 ImageNet21数据集上的分类
29、Top-1准确率远高于 DenseNet-20122、ResNet50 23等具 有 复 杂 结 构 的 网 络，充 分 说 明 轻 量 化 网 络EfficientNet-B3 具 有 强 大 的 特 征 提 取 和 语 义 理 解能力。考虑到高层特征图包含充分的语义信息，本文在 EfficientNet-B320模型上抽取第 7 层作为粗匹配特征图，用以计算初始的单应变换。2.1.2特征图粗匹配在获取影像A、B的第 7层 512通道特征图FMA、FMB后，对特征图进行展平操作，获得特征图上每个像素点在 512通道上的分数，记为FFP，A、FFP，B，对 2个多通道分数图进行相似性匹配，计算
30、分数图 A 上每个点到分数图 B上每个点的分数，如式（1）所示：MMP，A2B=FFP，A FTFP，B（1）式（1）记录了分数图 A 上每个点到分数图 B 上每个点的匹配结果，值越小，相似度越高，取相似度最高的两组匹配点对，采用最近邻距离比率的方法去除匹配置信度低的匹配点对，如式（2）所示：RA2B=MMPF，A2BMMPS，A2B（2）其中：MMPF，A2B为相似度图MMP，A2B中匹配相似度最高的匹配点对分数；MMPS，A2B为相似度图MMP，A2B中匹配图 1多层渐进式匹配网络优化的空地影像匹配流程Fig.1Procedure of aerial-ground images match
31、ing optimized by multi-layer progressive matching network180第 49卷 第 10期张欢，黄涛，许俊杰，等：多层渐进式特征对齐网络优化的空地影像稳健匹配相似度次高的匹配点对分数；RA2B为两者的比值，该值小于预设的 ratio 值（本文取 0.99）时则接受该匹配，否则拒绝该匹配。记图像 A 到图像 B 的匹配点集为PPT，A2B。用 相 同 的 方 法 计 算MMP，B2A和RB2A，进 而 得 到图像 B 到图像 A 的匹配点集为PPT，B2A。取PPT，A2B和PPT，B2A的交集作为粗匹配最终点集Init P。2.2渐进式匹配与
32、优化渐进式匹配与优化可以分为如下 3个环节：1）初 始 单 应 矩 阵 计 算。对 粗 匹 配 点 集 采 用RANSAC24策略计算初始单应变换矩阵。2）变换图像匹配。利用计算的初始单应矩阵将地面影像转换到近似空中视角的影像上，然后在相同视角下进行特征图的相似性匹配。3）多层特征图匹配与优化。在每一层特征图上都进行当前层特征图匹配和对上层匹配点集矫正的操作，最终得到准确的匹配点集。渐进式匹配与优化示意图如图 2所示。2.2.1初始单应矩阵计算在得到粗匹配点集后，采用 RANSAC24算法来计算初始单应矩阵。RANSAC24算法采用迭代的方式从一组包含错误数据的被观测数据中估算出数学模型的参数
33、，其计算公式如式（3）所示：k=loga()1-ploga()1-n（3）其中：p表示 RANSAC24算法模型被接受的概率；表示数据在内点集中的概率，取 0.99；k表示迭代次数，本文最大迭代次数取 5 000。将 RANSAC24算法计算得到的单应矩阵MInit作为初始变换矩阵。2.2.2视角变换图像匹配在空地影像匹配上，图像间存在较大的视角变换，导致同名点间匹配困难。因此，本文利用粗匹配计算的初始变换矩阵将地面影像转换到空中视角上，记图像为C，然后在同一视角下完成后续的匹配任务。2.2.3多层特征图匹配与优化在得到空中视角图像C后，计算图像C的特征图，记为FMC，然后计算 2 个同一视角
34、特征图在倒数第 2层到第 1层上的匹配，同样采用双向最近邻匹配策略和最近邻距离比率的方法来抑制置信度低的匹配点。由于特征图层数每减少 1 层，特征图长宽则扩大 1 倍，此时需要上采样匹配点到上一层进行匹配点纠正，本文采用均化上采样，可有效平滑上采样误差，提高匹配精度，如式（4）所示：PPts，AC=(PPts，AC+0.5)2-0.5（4）其中：PPts，AC为图像A、C在本层特征图中的双向匹配结果；PPts，AC为本层特征图在上层特征图上采样后得到的匹配点映射。然后，对映射的匹配点进行矫正以及计算本层的匹配点，采用八邻域矫正，如式（5）所示：图 2渐进式匹配与优化示意图Fig.2Schema
35、tic diagram of progressive matching and optimization1812023年 10月 15日Computer Engineering 计算机工程MSAC(ij)=FMA(i+mj+n)FMC(i+mj+n)-1 m 1-1 n 1（5）其中：MSAC(ij)为匹配分数；FMA(i+mj+n)为空中影像特征图上匹配点周围八邻域点分数；FMC(i+m)j+n为视角变换影像特征图上匹配点周围八邻域点分数。当邻域中有分数小于原匹配点分数时，将最小分数对应的匹配点对作为矫正后的匹配点对，对上层匹配点矫正后，将矫正后的匹配点与本层匹配点同时传入上层进行匹配与矫正
36、，重复上述操作，得到最终的置信度高的匹配点集。3实验结果与分析 为验证MLFM方法的性能，将其与当前比较先进的 SIFT8、D2-net25、DFM16等方法进行对比，采用同名点匹配数量（Number of Correct Matches，NCM）、匹配所用时间和均方根误差（Root Mean Square Error，RMSE）指标来衡量算法性能。本文借鉴已有研究通过仿射变换模型求解影像之间对应关系的思路，保留误差在3像素内的匹配结果且匹配同名点对不能少于4 对。对比算法都在 Window10 X64 操作系统下由Python 编译平台实现，设备处理器是 Intel CoreTM i7-10
37、510U CPU 2.30 GHz，RAM为24 GB。3.1数据源本文选取具有重复纹理、倾角差异、区域遮挡和尺度差异等 4 种不同模式的 8 组空地影像来比较算法的匹配性能。其中，8组影像均拍摄于湖北武汉的不同建筑，空地影像尺寸均为 512像素，测试图像如图 3所示。图 3空地影像Fig.3Aerial-ground images182第 49卷 第 10期张欢，黄涛，许俊杰，等：多层渐进式特征对齐网络优化的空地影像稳健匹配3.2结果分析将 MLFM 方法的匹配性能与 SIFT6、D2-net21、DFM13等 3 种匹配方法进行对比，匹配结果如图 4图 7所示。由图 4图 7 可知：SIF
38、T 方法在空地影像上的匹配结果较差，误匹配点数量较多，总匹配点数量少于其他 3 种方法，在重复纹理影像与倾角差异影像上匹配失败，本质上是由于 SIFT 方法对特征点的描述基于梯度幅值的大小，而在空地影像中，同名点邻域梯度幅值变化较大，无法构成同名区域的共性描述，图 44种方法在重复纹理影像上的匹配结果Fig.4Matching results of four methods on repetitive texture images图 54种方法在倾角差异影像上的匹配结果Fig.5Matching results of four methods on tilt angle difference
39、images图 64种方法在区域遮挡影像上的匹配结果Fig.6Matching results of four methods on regional occlusion images图 74种方法在尺度差异影像上的匹配结果Fig.7Matching results of four methods on scale difference images1832023年 10月 15日Computer Engineering 计算机工程从而导致匹配失败；D2-net 方法对区域遮挡及尺度变换有一定的适应性，在倾角差异和重复纹理影像匹配中正确匹配点数较少，该方法在匹配点数量上与 DFM 方法相当，逊
40、色于 MLFM 方法；DFM 方法在重复纹理影像上匹配效果很差，在同名区域遮挡影像上匹配效果较好，该方法匹配点数量优于 SIFT 方法，与 D2-net方法相当，逊色于 MLFM 方法，且匹配点分布较为集中；MLFM 方法在上述 4 种情况下匹配性能均优于其他 3种方法，从整体上看，MLFM 方法匹配点数多于其他 3 种方法，说明了多层渐进式网络能更好地捕捉空地影像同名区域间的共性特征，充分挖掘空地影像中较为重要的语义信息。在图像匹配任务中，通常采用 NCM 和 RMSE这2 种指标来衡量匹配算法的性能。本文也采用这2 种指标来进行量化分析，其中，RMSE 的定义如式（6）所示：RRMSE=i
41、=1N(xi-xti)2+(yi-yti)2/N（6）其中：（xti，yti）是第 i个待匹配图像中同名点（xi，yi）转换后的真实坐标；N表示选取的同名点个数。表 1 统计了 4 种方法在 8 组空地影像匹配中的NCM 和 RMSE结果，其中，“/”表示匹配失败，最优结果加粗标注。由表 1可知：SIFT 方法匹配结果最差，在重复纹理影像上匹配失败，对视角变化和区域遮挡比较敏感，在倾角差异和区域遮挡影像上匹配近乎失败，总体匹配点偏少，平均 NCM 为 6.38，由此可知 SIFT 方法对空地特征的一致性描述能力较差；D2-net 方法优于 SIFT，平均 NCM 较低，生成的匹配点较稀疏，且匹
42、配点集中在相同区域，可知 D2-net方法对空地特征的描述能力一般，对尺度差异和区域遮挡适应性较差，导致匹配结果较差，平均 NCM 为 22；DFM 方法在 8 组影像中成功匹配了 7 组，其中，在区域遮挡影像上匹配鲁棒性较好，可获取丰富的同名点，但该方法对具有较大尺度差异和重复纹理的影像对不够鲁棒，且生成的匹配点集中在同一区域，然而该方法的 匹 配 点 对 具 有 较 高 的 精 度，平 均 RMSE 为1.16 像素，平均 NCM 为 18.57；MLFM 方法在 8 组影像中都实现了成功匹配，其在重复纹理及倾角差异影像上匹配效果较好，平均内点数均多于其他 3 种方法，且匹配点分布较为均匀
43、，证明 MLFM 方法使用的多层渐进式匹配网络可以充分挖掘区域特征的纹理信息，进而构成同名点间鲁棒的特征描述，平均NCM 为 28.88，高 于 其 他 3 种 方 法，平 均 RMSE 为1.29像素，略逊色于 DFM 方法。综上，MLFM 方法在重复纹理、倾角差异、区域遮挡和尺度差异等情况下均具有较好的鲁棒性，平均 NCM 是 SIFT 方 法 的 4.5 倍，是 D2-net 方 法 的1.3 倍，是 DFM 方法的 1.6 倍。MLFM 的平均 RMSE明显优于 SIFT与 D2-net，略逊色于 DFM 方法。由此可知，MLFM 方法在空地影像中可实现稳健匹配。4结束语 为 解 决
44、空 地 影 像 匹 配 问 题，本 文 提 出 一 种MLFM 方法。首先通过多层渐进式匹配网络挖掘空地影像同名区域的共性特征，然后进行多层特征匹配与优化，最终得到准确的匹配点集。实验结果表明，在重复纹理、倾角差异、区域遮挡和尺度差异等不同模式的空地影像上，与 SIFT、D2-net、DFM 等主流图像匹配方法相比，MLFM 方法取得了更优的匹配性能，在重复纹理和倾角差异等复杂场景下的鲁棒性更强。后续将提高 MLFM 对区域遮挡和尺度差异的适应性，进一步提高算法性能。参考文献 1 MA Z L，LIU S L.A review of 3D reconstruction techniques i
45、n civil engineering and their applications J.Advanced Engineering Informatics，2018，37：163-174.2 XIE H Z，YAO H X，SUN X S，et al.Pix2Vox：context-aware 3D reconstruction from single and multi-view images C/Proceedings of IEEE/CVF International Conference on Computer Vision.Washington D.C.，USA：IEEE Press
46、，2020：2690-2698.3 邓非，张祖勋，张剑清.基于序列影像的城市三维建模 J.计算机工程，2007，33（8）：208-209，212.DENG F，ZHANG Z X，ZHANG J Q.Construction of 3D urban model based on image sequence J.Computer Engineering，2007，33（8）：208-209，212.（in Chinese）4 LU X，ZHANG S，SU H，et al.Mutual information-based multimodal image registration using
47、 a novel joint histogram estimation J.Computerized Medical Imaging and Graphics，表 14种方法对 8组空地影像的定量匹配结果 Table 1Quantitative matching results of eight groups of aerial-ground images using four methods指标NCM/个RMSE/像素方法SIFTD2-netDFMMLFMSIFTD2-netDFMMLFM重复纹理Pair 1/31732/1.021.011.17Pair 2/16519/1.311.121.
48、21倾角差异Pair 151721311.751.551.371.41Pair 24813222.141.641.391.58区域遮挡Pair 1/1915112.351.171.051.03Pair 2124237612.261.211.021.15尺度差异Pair 1167/111.782.41/1.46Pair 2143632441.261.311.221.34184第 49卷 第 10期张欢，黄涛，许俊杰，等：多层渐进式特征对齐网络优化的空地影像稳健匹配2008，32（3）：202-209.5 眭海刚，刘畅，干哲，等.多模态遥感图像匹配方法综述 J.测绘学报，2022，51（9）：18
49、48-1861.SUI H G，LIU C，GAN Z，et al.Overview of multi-modal remote sensing image matching methodsJ.Acta Geodaetica et Cartographica Sinica，2022，51（9）：1848-1861.（in Chinese）6 贾迪，朱宁丹，杨宁华，等.图像匹配方法研究综述 J.中国图象图形学报，2019，24（5）：677-699.JIA D，ZHU N D，YANG N H，et al.Image matching methods J.Journal of Image and
50、 Graphics，2019，24（5）：677-699.（in Chinese）7 沈士喆，张小龙，衡伟.一种自适应阈值的预筛选 Harris角点检测方法 J.数据采集与处理，2011，26（2）：207-213.SHEN S Z，ZHANG X L，HENG W.Improved Harris corner detection algorithm based on auto-adaptive threshold and pre-selectionJ.Journal of Data Acquisition&Processing，2011，26（2）：207-213.（in Chinese）8
