腾讯优图荣获CVPR2021 Image Matching Workshop双赛

举动阴谋机视觉周围的根柢工夫之一，Image Matching是指寻找一张图片中拍摄的子区域正在另一张图片中的对应地点，寻常使用于蕴涵SFM、SLAM、三维重筑、大周围图像检索，缺陷检测与配准等周围。

本次竞争的评测机制如图2所示，参赛者遵循我方提出的手法提取每张图的环节点和对应刻画子，并提交每两张图之间的成婚结果，赛方会遵循提交的结果统计两种评估计划：1.通过比拟两张图之间成婚结果对应的相机位姿和确切位姿之间的分别(Stereo)。2.遵循众张图之间的环节点成婚结果，统计重筑后预测全图的相机位姿和确切位姿之间的分别（Multi-view）。于是对付任性两张图之间，环节点的分散越聚集，成婚的点越准，则位姿预计的效益越好。

另外，本届竞争分为节制性赛道(Restricted category)和非节制性赛道(Unlimited category)，个中节制性赛道请求参赛者提交有限的环节点和对应刻画子，非节制性赛道可提交不限数目的环节点对和对应刻画子。相较于前两届竞争，本届竞争补充了街景和公园等场景，图片之间的角度和标准变换更大，对算法离间卓殊大，于是咱们同时针对环节点的提取局部和成婚确实度局部都做了相应的改革，完全思绪如下：

咱们操纵SuperPoint+Autoencoder+SuperGlue举动咱们的环节点成婚pipeline。个中SuperPoint用于提取环节点和对应刻画子，Autoencoder用于特点压缩，SuperGlue用于环节点成婚，终末通过DEGENSAC实行离群点过滤。同时咱们优化了SuperGlue的熬炼流程和耗损函数，提拔了模子正在竞争数据集下的成婚精度。

咱们针对输入图片实行随机变换补充了提取到的环节点对标准变换的鲁棒性，同时提出了针对刻画子的特点调和模块，以提拔刻画子的外达本事和标准鲁棒性。同时咱们还比拟了咱们的特点调和和均匀特点调和的效益，个中横坐标为刻画子的cos近似度，纵坐标为二者的分散分别，可睹咱们的手法正在高近似度区域下的占比昭着高于均匀特点，而正在低近似度区域下的占比昭着低于均匀特点，验证了咱们手法的有用性。

咱们提出了前布景破裂和coarse-to-fine的成婚组织，进一步提拔环节点成婚的有用性。个中前布景破裂可能有用过滤掉与成婚无闭的布景局部。Coarse-to-fine的成婚组织可能提拔拍摄标准分别过大导致的成婚率过低的题目。

视觉图像成婚举动根柢的阴谋机视觉本事，正在其根柢上可拓展稠密的下逛职司。如正在图像检索中，可能通过image matching来检索到和Database中近似的图片，如图8所示。正在SFM(Structure from motion)中，可能通过环节点成婚来获取摄像头外参并连结内参实行深度预计并重筑出拍摄物体(如图9所示)。正在图像跟踪与配准中，通过前后帧的成婚可能逮捕视频的运动轨迹，并针对主意物体实行视频跟踪与图像配准。

举动腾讯旗下顶尖的人工智能实行室，优图实行室聚焦阴谋机视觉，用心人脸识别、图像识别、OCR等周围发展工夫研发和行业落地，正在鞭策物业数字化升级流程中，永远坚决根柢酌量、物业落地两条腿走途的开展策略，与腾讯云与聪颖物业深度调和，发掘客户痛点，的确为行业降本增效。

改日，腾讯优图实行室也将无间深耕CV工夫，并将继续探究更众的使用场景和使用空间，让更众的用户享福到科技带来的盈利。