1、第 卷 第期 年月探 测 与 控 制 学 报J o u r n a l o fD e t e c t i o n&C o n t r o lV o l N o A u g 收稿日期:基金项目:厦门大学嘉庚学院预研项目(Y Y L )作者简介:张晓燕(),女,陕西西安人,博士后,副教授.自适应聚合和代价自学习的多视图立体重建张晓燕,陈祥,郭颖(厦门大学嘉庚学院信息科学与技术学院,福建 漳州 ;厦门大学电子科学与技术学院,福建 厦门 ;西安机电信息技术研究所,陕西 西安 )摘要:近年来,基于卷积神经网络的多视图立体(MV S)重建应用广泛,可依然存在重建结果整体性和完整性不理想问题,对多视图三维重
2、建中的特征提取模块和匹配代价体优化模块进行改进,提出一种自适应聚合和代价自学习的多视图立体重建方法.首先,从输入图像中提取不同尺度图像特征,通过可变性卷积把不同尺度图像特征自适应聚合,以提高特征提取的准确度和丰富度;然后,通过可微分单应性变换构建匹配代价并进行正则化,再通过代价自学习模块进一步优化,进而得出每个像素在不同深度假设平面的概率值;最后,将深度假设平面和概率值加权求和得到最终的深度图.经过在D TU数据集上进行测试,与现有的基准方法MV S N e t相比,整体性提高了 ,完整性提高了 ,得到了质量更优的三维重建结果.关键词:多视图立体;自适应聚合;代价自学习;可变形卷积中图分类号:
3、T P 文献标志码:A文章编号:()A d a p t i v eA g g r e g a t i o na n dC o s t S e l f L e a r n i n g f o rM u l t i v i e wS t e r e oR e c o n s t r u c t i o nZ HAN GX i a o y a n,CHE NX i a n g,GUOY i n g(T a nK a hK e eC o l l e g e,X i a m e nU n i v e r s i t y,Z h a n g z h o u ,C h i n a;S c h o o l o
4、 fE l e c t r o n i cS c i e n c ea n dE n g i n e e r i n g,X i a m e nU n i v e r s i t y,X i a m e n ,C h i n a;X ia nI n s t i t u t eo fE l e c t r o m e c h a n i c a l I n f o r m a t i o nT e c h n o l o g y,X ia n ,C h i n a)A b s t r a c t:A l t h o u g ht h em u l t i v i e ws t e r e o(M
5、V S)r e c o n s t r u c t i o nb a s e do nc o n v o l u t i o n a ln e u r a ln e t w o r kh a sa c h i e v e dg o o dr e s u l t s,t h e r ea r es t i l lp r o b l e m so fu n s a t i s f a c t o r yo v e r a l la n dc o m p l e t e n e s so fr e c o n s t r u c t i o nr e s u l t s T h i sp a p e
6、 r f o c u s e so nt h e f e a t u r ee x t r a c t i o nm o d u l ea n dm a t c h i n gc o s t i nMV S Dr e c o n s t r u c t i o n O p t i m i z a t i o ns t u d i e s a r e c a r r i e do u t t op r o p o s e a ne f f i c i e n tm u l t i v i e ws t e r e on e t w o r k F i r s t l y,i m a g e f
7、e a t u r e s a r e e x t r a c t e df r o mt h e i n p u t i m a g e,a n di m a g ef e a t u r e so fd i f f e r e n ts c a l e sa r ea d a p t i v e l ya g g r e g a t e dt h r o u g hv a r i a b l ec o n v o l u t i o nt o i m p r o v e t h e a c c u r a c yo f f e a t u r e e x t r a c t i o na
8、n d t h e r i c h n e s so f e x t r a c t i o nr e s u l t s T h e n,t h em a t c h i n gc o s t i sc o n s t r u c t e dt h r o u g hd i f f e r e n t i a b l eh o m o g r a p h yt r a n s f o r m a t i o n A f t e r t h em a t c h i n gc o s t i sr e g u l a r i z e d,i t i so p t i m i z e db yt
9、 h ec o s t s e l f l e a r n i n gm o d u l e F i n a l l y,t h e f i n a l d e p t hm a p i so b t a i n e db yr e g r e s s i n gt h eo p t i m i z e dm a t c h i n gc o s t a n dc o m b i n i n g t h e e d g e i n f o r m a t i o no f t h e i m a g e B y t e s t i n go n t h eD TU(T e c h n i c
10、a lU n i v e r s i t yo fD e n m a r k)d a t a s e t,c o m p a r e dt ot h ee x i s t i n gb e n c h m a r km e t h o dMV S N e t,t h eo v e r a l l i n c r e a s e d,t h e i n t e g r i t y i m p r o v e d T h e t e s t r e s u l t so n t h eD TUd a t a s e t s h o wt h a t t h e i n t e g r i t ya
11、 n da c c u r a c yo ft h en e t w o r ks t r u c t u r ep r o p o s e d i nt h i sp a p e rh a v eb e e ng r e a t l y i m p r o v e d,a n dt h eq u a l i t yo f t h eo b t a i n e d Dr e c o n s t r u c t i o nr e s u l t s i sb e t t e r K e yw o r d s:m u l t i v i e ws t e r e o(MV S);a d a p t
12、 i v ea g g r e g a t i o n;c o s t s e l f l e a r n i n g;d e f o r m a b l ec o n v o l u t i o n 引言近年来,移动设备和无人机获取二维图像变得越来越简单,但是二维图像缺少空间信息的真实性和完整性,不能够表达空间对象间的立体关系,因此,多视图立体重建技术得到了广泛重视和飞速发展.多视图立体重建是在已知多个视角的图片集合及其对应的相机内外参数条件下,恢复场景或者物体的三维几何模型,该技术不仅能给人以更真实的感受,而且还能描述和表达物体之间的图像场景和深度关系.在三维可视化、虚拟现实、场景理解、智
13、慧医疗和自动驾驶等领域中有着广泛的应用.传统的多视图重建方法是利用摄像机从多个角度拍摄物体,之后通过各个角度视图之间的几何关系计算并优化深度.文献 开创性地提出了C o l m a p,该方法采用手工设计特征提取器提取特征,由于其在公共数据集上的重建结果较理想,C o l m a p经常被选为对比方法来证明提出方法的有效性;然而C o l m a p重建耗时长,即便小场景也需要耗费若干小时.文献 提出名为O p e n MVG的开源库,包含运动结构恢复(S FM)所需的工具,代码开源可读性强,方便二次开发;但O p e n MVG的缺点在于只能恢复场景的稀疏点云,无法恢复场景的稠密点云.针对这
14、个缺点,文献 提出了O p e n MV S,重建结果即为场景的稠密点云.虽然O p e n MV S是目前重建效果最好的开源库,但仍存在无纹理区域、弱纹理和遮挡区域重建效果差的困扰.为了解决这些问题,有学者使用卷积神经网络进行多视图立体重建.文献 提出利用卷积神经网络直接对单张图像恢复深度,该网络采取了多尺度的结构进行深度预测,并且将尺度不变特性引入损失函数中,极大地增强了网络的泛化能力,为后续学者使用深度学习方法进行多视图重建奠定了基础.文献 提出 D R N(Dr e c u r r e n tr e c o n s t r u c t i o nn e u r a ln e t w o
15、 r k)网络,该网络构造了卷积神经网络和长短期记忆(l o n gs h o r t t e r m m e m o r y,L S TM)相结合的编解码器架构,通过投影操作将相机参数编码到网络中,输出三维网格来重建三维场景.文献 提出了S u r f a c e N e t网络,该网络通过将相机参数和图像以三维体素共同编码表示构建的卷积神经网络,其核心优势在于能够解决多视图立体中的图像一致性和几何相关性问题.这两种方法都使用了基于体素的方法,重建中需要耗费大量显存,只适用于小规模场景的三维重建.文献 提出MV S N e t,该方法参照了传统平面扫描法的策略,基于参考视图的相机视锥体构建三
16、维代价,然后使用三维卷积对代价体进行正则化,回归得到深度图.由于是第一个完整的基于深度学习多视图立体重建方法,MV S N e t已经成为其他基于深度学习的多视图几何重建的基准.文献 提出了R MV S N e t,此网络将三维卷积神经网络(DC NN)替换成门控循环单元(G RU)进行正则化,极大降低了显存的消耗,但同时增加了重建时间.文献 提出P MV S N e t,主要创新点在于提出了基于区域匹配置信度的代价体,通过学习的方式将每个假想面上的特征匹配置信度聚合变为一个向量而非常量,从而提高了匹配的准确度.文献 提出了一种基于跨视角一致性约束的无监督深度估计网络U n s u p e r
17、 v i s e d MV S N e t,该网络提出了一种无监督的方法来训练网络,并且利用多个视图之间的光度一致性和像素梯度差异作为监督信号,来预测深度图,取得了不错的重建结果.文献 提出一种直接基于点的匹配代价正则化方法 P o i n t MV S N e t,该网络的核心是把三维几何先验知识和二维纹理信息融合到特征增强点云中,得到的重建结果精度更高,效率更优.文献 提出AA RMV S N e t,该网络提出自适应逐像素视图聚合匹配代价模块,能够在所有视图之间保留更好的匹配代价体,克服了复杂场景中弱 纹 理 和 遮 挡 的 问 题.文 献 提 出E F MV S N e t,该网络仍然
18、以MV S N e t为基本框架,在深度图优化阶段引入边缘检测模块来预测深度图边缘像素的偏移量,并通过多次迭代得到最终深度估计结果.虽然深度学习多视图立体重建具有很强的学习能力,能够挖掘更多的图像潜在特征,在特征匹配时具有更高 的准确性,进 而 得 到 更 优 的 结 果.但是由于其特征提取结果未将不同尺度图像特征进行聚合,得到的结果仅仅是输入图像经过连续下采样后的输出,并且匹配代价体在正则化后仍然存在离群点问题,将会影响加权回归得到的深度图,进而影响整个重建的准确性和完整性.为此,本文在深度学习网络基础上提出自适应聚合和代价自学习的多视图立体重建,提高重建结果的完整性和整体性.张晓燕等:自适
19、应聚合和代价自学习的多视图立体重建 多视图立体重建网络架构的建立虽然MV S N e t网络可以得到不错的重建结果,但该网络仍忽略了聚合不同尺度特征信息和匹配代价体优化.为了解决上述问题,本文设计了一个自适应聚合特征提取模块,针对标准卷积具有固定感受野,在弱纹理和无纹理区域特征提取困难的问题,使用可变性卷积来自适应调整感受野的大小,并且将不同尺度的具有不同纹理丰富度的图像特征聚合,提升纹理特征提取的丰富度.同时,设计了一种代价自学习模块,针对匹配代价体中存在的离群点问题,通过使用可变形卷积来改变卷积核形状,为离群点寻找一些可靠且关系密切的相邻点,用相邻点的代价分布来替代离群点的代价分布,从而提
20、升匹配代价体的准确性.本文设计的多视图立体重建网络架构如图所示.从图中可看出本文工作主要包括:)引入一个自适应聚合特征提取模块,通过可变形卷积自适应地聚合具有不同纹理丰富度的特征区域;)引入一个代价自学习模块,通过可变形卷积自适应优化匹配代价体离群值.图网络整体架构F i g O v e r a l l f r a m e w o r ko fp r o p o s e dn e t w o r k 自适应聚合和代价自学习的多视图立体重建本文的多视图立体重建网络实现包含以下主要步骤:自适应聚合特征提取、匹配代价体构建、匹配代价体正则化、代价自学习、深度图估计和优化以及损失函数选定,最后得到优化
21、后的深度图.自适应聚合特征提取由于标准卷积具有固定的感受野,在面对弱纹理和无纹理区域时无法有效地提取出较好的特征结果.为了 弥 补 这 个 不 足,本 文 引 入 了 可 变 形 卷积 进行自适应聚合特征提取.可变形卷积是将标准卷积的卷积核在每个空间采样位置上都增加一个 D偏移量.通过这些偏移量,使得卷积核可以在每个空间采样位置附近自适应地采样,而不再局限于规则格点.因此,可变形卷积可以自适应地调整尺度或者感受野的大小,提取到更多有效的目标区域特征.可变形卷积和标准卷积的卷积核形状对比如图所示,图(a)为标准卷积的卷积核形状,图(b)、(c)和(d)为可变形卷积的卷积核形状,其中蓝色的点是新的
22、卷积点,箭头是位移方向.图卷积核对比图F i g C o m p a r i s o no f c o n v o l u t i o nk e r n e l探 测 与 控 制 学 报本文设计的可变性卷积自适应聚合特征提取模块结构如图所示.该模块使用了 层结构的卷积层,其中,从第三个卷积层开始,每隔个卷积层步长均除以,得到的特征图大小分别为原尺寸分辨率的、/、/和/.对于每种尺度特征,都是经过三层卷积处理得到的,最后四种特征均通过可变形卷积自适应处理并经过双线性插值沿特征维度进行堆 叠,得到最 终的输出特 征图,其维度 为H/W/.可变形卷积定义如下:f p()kwkf(ppkpk)mk,(
23、)式()中,f(p)表示像素点p的特征值,wk和pk分别表示卷积核参数和偏移量,pk和mk分别表示可变形卷积的可学习子网络自适应产生的偏移量和调制权重.图自适应聚合特征提取F i g F e a t u r ee x t r a c t i o no f a d a p t i v ea g g r e g a t i o nm o d u l e 匹配代价体构建得到输入图像的特征后,通过单应性变换将源图像与参考图像建立映射关系,以此构建匹配代价体.假设I为参考图像,IiNi为与I进行多视角立体匹配的匹配视图,Ki,Ri,tiNi为各个视图对应的相机内参数、旋转矩阵和平移向量.以参考图像I为基
24、准,本文使用单应性变换将第i个视角对应的特征图Fi映射为与参考视图I对应的特征图F平行的平面,单应性变换公式如下:Hid()KiRiItti()nTdRTKT,()式()中,d为深度值,K为相机的内参数,R为旋转矩阵,RT和KT为转置矩阵,nT为平面法向量的转置.为了引入任意数量的输入视图,构建匹配代价体时使用基于方差的方法,以此来衡量各个视角构成的匹配代价体之间的相互关系.其计算公式为CM F,F,Fn()Ni(FiFi)N,()式()中,C是匹配代价体,N是输入视图的数量,Fi是所有特征体的均值.匹配代价体正则化由于真实场景中存在遮挡,得到的初始匹配代价体往往存在噪声.为了减弱噪声对结果的
25、影响,需要对得到的初始匹配代价体进行正则化.本文使用具有多尺度的 DC NN对匹配代价进行正则化,具体结构如图所示.由于匹配代价体是三维结构,因此仅仅对匹配代价体下采样两次,目的是为了减小正则化所需的大量内存.图匹配代价正则化F i g C o s tv o l u m er e g u l a r i z a t i o nm o d u l e张晓燕等:自适应聚合和代价自学习的多视图立体重建 代价自学习匹配代价体的优化方法一般通过使用普通的卷积网络预测残差来纠正离群值,但由于卷积核形状的固定性,普通卷积很难优化离群值.因此,为了解决这个问题,本文提出代价自学习模块,具体结构如图所示,利用可
26、变形卷积自适应地调整卷积核的感受野大小,使得离群点可以自适应寻找到其最可靠的相邻像素.该模块首先将参考图像作为输入并输出密集特征;之后,使用可变形卷积对每一个像素点使用特征预测几个偏移量,每个偏移量包含两个通道,表示相邻点的像素坐标.利用这些坐标,对相邻像素匹配代价进行采样,并计算其平均值来更新该像素的匹配代价.该模块可用如下公式表示:Crx,y()imiNimiCo(xxi,yyi),()式()中,Cr和Co分别为优化后的匹配代价体和初始匹配代价体;xi,yi()是在x,y()像素坐标上预测的偏移量;mi是调制权重,范围为;N是控制采样相邻像素数量的超参数,若点数越多,结果越好,但消耗的内存
27、也越多.图代价自学习F i g C o s tv o l u m es e l f l e a r n i n gm o d u l e 深度图估计和优化 深度图估计优化后的匹配代价体经过s o f t a r g m i n函数处理,可以获得每个像素在不同深度采样值处的概率估计.通过将所有深度假设值与概率估计加权回归计算可得到每个像素的深度估计值,即完成了深度图估计.其原理是概率估计上的每个点都对应在某一深度值下的置信度,如果直接选取概率值最大的深度值作为估计值,在网络中将无法通过误差反向传播获取最优结果.因此,在得到概率估计后,计算每个深度下的加权平均值.具体公式如下:Dddm a xdd
28、m i ndP(d),()式()中,dm i n和dm a x表示深度范围,d为深度范围内均匀采样深度值,P(d)为在某一深度d处对应的概率估计值.深度图优化由于深度学习网络具有较大的感受野区域,得到的深度图边界可能会过平滑,因此需要使用浅层残差网络对深度图进行优化.浅层残差网络由个卷积层构成,首先输入初始深度图和其对应的R G B图,将其串联成通道为后即可输入第一层卷积层,在经过连续的层卷积层后,输出通道数为的卷积结果,将此结果与初始深度图相加,得出的结果即为最终的深度图.损失函数选定本文中使用L 函数作为损失函数,在网络训练时,损失函数计算每次迭代的前向计算结果与真实值的差距,并通过反向传
29、播更新各个参数,使得模型生 成 的 预 测 值 向 真 实 值 靠 拢.损 失 函 数 公 式如下:L o s sppvd p()dip()d p()dr(p),()式()中,pv为概率估计中的有效值;d p()是像素点p的真实深度值;di(p)为其初始深度估计值,dr(p)为其优化后的深度估计值;和为权重系数,衡量初始深度图和优化后深度图对网络学习的影响程度.探 测 与 控 制 学 报 实验验证 数据集D TU数据集是为了解决多视角立体重建问题专门拍摄并预处理过的室内数据集,通过可调节拍摄角度和亮度的工业机器臂拍摄得到.D TU数据集由 个不同场景组成,每个场景包括 或 个不同方向在种不同光
30、照条件下拍摄的图像,每张图像原始分辨率是 像素.模型训练与测试D TU数据集原始分辨率为 像素,由于存在三维卷积,如果直接输入需要耗费巨大的显存.因此,在训练阶段将输入图像大小裁剪为 像素,输入数量为,选取D TU数据集中 个场景作为训练样本.学习速 率初始值设 为 ,并且在训练 个批次后每隔两个批次学习率减半.深度假设平面数量设置为 ,深度间隔大小为 .本网络是基于P y t o r c h的神经网络搭建,显卡为NV I D I AR T X T i,使用显存大小为 G B,损失函数中和分别设置为和 (此值通过多次训练调整得出),训练批次为.因为训练阶段需要额外的内存来保存中间梯度用于反向传
31、播,而在测试阶段不需要,因此输入图像分辨率设置为 ,输入视角数量为,测试集样本为D TU中的 个场景,深度假设平面数量设置为 ,深度间隔为 .测试结果比对本文方法与传统方法和深度学习方法的评估对比结果如表所示.表中前四种方法为传统方法,后两个为基于深度学习的方法.官方公布的D TU数据集重建结果评估 ,具体为三个值:准确性、完整性和整体性.准确性是重建点云与真实点云之间作差的结果,完整性是从真实点云到重建点云之间作差的结果,整体性是准确性和完整性求和的平均值,这三个值越低表明模型重建结果越好.从表可知,与传统方法和深度学习方法相比,本文方法重建的整体性为 ,完整性为 ,是所有方法中重建结果最好
32、的.与深度学习基准方法MV S N e t相 比,本 文 方 法 在 整 体 性 上 提 升 了 ,完整性上提升了 ,充分说明了本文方法的有效性.本文方法重建的准确性为 ,相比较MV S N e t,准确率降低了 .导致这种现象的原因可能是网络模型复杂度增加,反向传播的参数量增多,使得模型泛化性能降低.表D T U数据集评估对比结果T a b C o m p a r a t i v er e s u l t so nt h eD TUe v a l u a t i o nd a t a s e t方法准确性/mm完整性/mm整体性/mmF u r u G i p u m a C o l m a
33、 p C a m p S u r f a c e N e t MV S N e t 本文 图为D TU部分场景的重建结果对比图,从图中可以发现本文方法重建结果相较于MV S N e t的完整性上有了很大的提升,尤其是在边缘和弱纹理区域,本文的重建结果更精确且完整,与G r o u dT r u t h更接近.这些从图中框出的部分能够明显看出,充分说明了本文方法的有效性.图D TU部分场景重建结果比对F i g C o m p a r i s o no f r e c o n s t r u c t i o nr e s u l t so fD T Ud a t a s e t 消融实验在前面部
34、分验证了网络的整体性能,为了检验本文部分模块的有效性,进行消融实验.围绕本文方法中的自适应聚合模块和动态自学习模块,分别建立了组对比实验,结果对比如表所示.张晓燕等:自适应聚合和代价自学习的多视图立体重建表D T U数据集消融实验结果对比T a b C o m p a r i s o no f a b l a t i o nt e s t r e s u l t so nt h eD TUe v a l u a t i o nd a t a s e t方法准确性/mm完整性/mm整体性/mmF AA C S L F AAC S L 表中,F A A是自适应聚合特征提取模块,C S L是代价自学
35、习模块.从表可知,加入F A A后,网络重建结果的完整性为 ,加入C S L后,网络重建结果的完整性为 ,相比较于MV S N e t分别提升了 和 .在同时加入F A A和C S L后,网络重建结果的完整性为 ,是所有消融实验重建结果完整性最高的.因此,通过消融实验表明,本文方法充分利用了自适应聚合模块和代价自学习模块的优点,在一定程度上可以获得更完整的重建结果.D T U数据集消融实验对比结果如图所示.图D TU数据集消融实验结果比对F i g C o m p a r i s o no f a b l a t i o ne x p e r i m e n t a l r e s u l t
36、 so nD TUd a t a s e t从图中可以看出,自适应聚合模块的单独加入,使得模型可以重建出更加完整的结果.匹配代价体动态自学习模块的单独加入,使得重建结果边缘更加平滑和更少的噪点.当两个模块同时加入时,重建结果的完整性及边缘质量都好于未加入前的结果,充分证明了本文方法的有效性.结论针对MV S N e t网络重建结果完整性较低的问题,本文提出基于MV S N e t的改进网络.通过增加自适应聚合特征提取模块,使得特征提取结果能够包含更加丰富的特征信息.同时,通过增加代价自学习模块,缓解匹配代价体过度平滑问题.经过D TU数据集的测试与评估,本文网络在重建整体性和完整性都有不错的提
37、升.相较于MV S N e t,本文网络在整体性上提高了 ,完整性上提高 了 ,得到了质量更优的三维重建结果.本文提出的方法可应用于数字孪生可视化平台、文化遗产保护以及动画电影制作等方面.由于本文使用了 D卷积,虽然可以得到不错的重建结果,但该方法需要耗费大量的内存,只适用于中小规模场景的三维重建.同时,本文方法需要使用重建场景或物体的真实点云,但往往真实点云很难被获取.因此,未来的研究工作应该寻求无监督学习的方法和耗费计算资源更小的方法以便运用到大规模的室外场景重建.参 考 文 献:周骏多视图图像三维重建若干关键技术研究D成都:电子科技大学,赵锐,万旺根基于多尺度空间特征融合的三维重建J工业
38、控制计算机,():S CHN B E R G E RJL,Z HE NGEL,F R AHMJM,e ta l P i x e l w i s ev i e ws e l e c t i o nf o ru n s t r u c t u r e dm u l t i v i e ws t e r e oC t h e t hE u r o p e a nC o n f e r e n c eo nC o m p u t e rV i s i o n Am s t e r d a m N e t h e r l a n d s:S p r i n g e r:I E E E,:MOU L ON
39、P,MONA S S EP,P E R R O TR,e ta l O p e n MV G:o p e nm u l t i p l ev i e wg e o m e t r yC T h e s t探 测 与 控 制 学 报I n t e r n a t i o n a lW o r k s h o po nR e p r o d u c i b l eR e s e a r c h i nP a t t e r n R e c o g n i t i o n C a n c n,M e x i c o:S p r i n g e r:I E E E,:HUAN GJ H,L UO Y
40、P MV S N e t:L e a r n i n gp a t c h w i s em a t c h i n gc o n f i d e n c e a g g r e g a t i o n f o rm u l t i v i e ws t e r e oC I E E E/C V FI n t e r n a t i o n a lC o n f e r e n c eo nC o m p u t e rV i s i o n(I C C V)S e o u l,K o r e a(S o u t h):I E E E,:HUANGPH,MA T Z E NK,K O P FJ
41、,e t a l D e e p MV S:l e a r n i n g m u l t i v i e w s t e r e o p s i sC I E E E/C V FC o n f e r e n c eo nC o m p u t e rV i s i o na n dP a t t e r nR e c o g n i t i o n S a l tL a k eC i t y,U S:I E E E,:J IM,G A L LJ,Z HE NGH,e t a l S u r f a c e N e t:a ne n d t o e n d Dn e u r a ln e t
42、 w o r kf o rm u l t i v i e ws t e r e o p s i sC I E E EI n t e r n a t i o n a lC o n f e r e n c eo nC o m p u t e rV i s i o n(I C C V)V e n i c e,I t a l y:I E E E,:CHE NR,HANS,XUJ,e t a l P o i n t b a s e dm u l t i v i e ws t e r e on e t w o r kC I E E E/C V FI n t e r n a t i o n a lC o n
43、 f e r e n c e o n C o m p u t e r V i s i o n(I C C V)S e o u l,K o r e a(S o u t h):I E E E,:CHOYCB,X UDF,GWAKJ,e t a l D R N:au n i f i e da p p r o a c hf o rs i n g l ea n dm u l t i v i e w Do b j e c tr e c o n s t r u c t i o nC t h e t hE u r o p e a nC o n f e r e n c eo nC o m p u t e r V
44、 i s i o n Am s t e r d a m,N e t h e r l a n d s,S p r i n g e r:I E E E,:J I M Q,G A L LJ,Z HE N G H T,e ta l S u r f a c e N e t:a ne n d t o e n d Dn e u r a l n e t w o r k f o rm u l t i v i e ws t e r e o p s i sC I E E EI n t e r n a t i o n a lC o n f e r e n c eo nC o m p u t e rV i s i o
45、n V e n i c e,I t a l y:I E E E,:YA OY,L UOZX,L ISW,e t a l MV S N e t:d e p t h i n f e r e n c e f o ru n s t r u c t u r e dm u l t i v i e ws t e r e oC t h e t h E u r o p e a n C o n f e r e n c eo n C o m p u t e r V i s i o n M u n i c h,G e r m a n y,S p r i n g e r:I E E E,:YA OY,L UOZX,L
46、ISW,e t a l R MV S N e t:R e c u r r e n t MV S N e tf o r h i g h r e s o l u t i o n m u l t i v i e w s t e r e od e p t h i n f e r e n c eC I E E E/C V FC o n f e r e n c eo nC o m p u t e r V i s i o n a n d P a t t e r n R e c o g n i t i o n L o n gB e a c h,U S:I E E E,:L UO K Y,GUAN T,J U
47、L L,e ta l P MV S N e t:l e a r n i n gp a t c h w i s em a t c h i n gc o n f i d e n c ea g g r e g a t i o n f o rm u l t i v i e ws t e r e oC I E E E/C V FI n t e r n a t i o n a lC o n f e r e n c e o n C o m p u t e r V i s i o n S e o u l,K o r e a(S o u t h):I E E E,:XU Q P o i n t N e R F:
48、P o i n t b a s e dn e u r a l r a d i a n c ef i e l d sC I E E E/C V FC o n f e r e n c eo nC o m p u t e rV i s i o na n dP a t t e r nR e c o g n i t i o n(C V P R)N e w O r l e a n s,L A,U S:I E E E,:CHE N R,HANSF,X UJ,e ta l P o i n t b a s e dm u l t i v i e ws t e r e on e t w o r kC I E E E
49、/C V FI n t e r n a t i o n a lC o n f e r e n c eo nC o m p u t e rV i s i o n S e o u l,K o r e a(S o u t h):I E E E,:WE IZZ,Z HUQT,CHE N M,e t a l AA RMV S N e t:a d a p t i v ea g g r e g a t i o nr e c u r r e n t m u l t i v i e w s t e r e on e t w o r kC t h eI E E E/C V FI n t e r n a t i o
50、 n a lC o n f e r e n c eo nC o m p u t e rV i s i o n(I C C V)M o n t r e a l,C a n a d a:I E E E,:L I N K,L IL,Z HANGJ,e ta l E F MV S N e t:H i g h r e s o l u t i o nm u l t i v i e ws t e r e o w i t hd y n a m i cd e p t he d g ef l o wC I E E EI n t e r n a t i o n a l C o n f e r e n c e o n
