[发明专利]一种基于多视红外的稠密点云生成方法

说明书

本发明涉及一种基于多视红外的稠密点云生成方法，包括：获取红外相机的内参和外参；使用多目低分辨率红外相机与高分辨率红外相机得到多目第一低分辨率红外图像和第一高分辨率红外图像；构建数据集；将数据集输入至待训练的稠密点云生成网络，直至损失函数收敛为止，得到训练好的稠密点云生成网络；将待生成的多目低分辨率红外图像输入至训练好的稠密点云生成网络，得到多目低分辨率红外图像的视差图和高分辨率红外图像，以生成稠密点云。本发明采用了多目纯视觉方案，该方案的抗干扰能力更强，可以规避激光雷达互相干扰、主动红外等测距方案不能应用于室外等强光环境的局限性，使得本发明提高了所构建系统的鲁棒性。

技术领域

本发明属于红外图像处理位技术领域，涉及一种基于多视红外的稠密点云生成方法。

背景技术

点云数据用于描述景物三维外观的，通过使用在某一三维坐标系下所有点的数据，数据中包括了每个点的三维坐标X、Y、Z以及强度等信息。点云数据的采集有多种方式，可以通过激光雷达、RGB-D相机、双目视觉等方法获得。点云数据含有大量的三维结构信息，因此在建模、测绘、自动驾驶、医疗等方面有着广泛的应用。点云数据可以根据点云数据中点的密度分为稀疏点云和稠密点云，而稠密点云中点的密度高，所以更有利于提高下游任务的效果处理。近年来，人工智能发展火热，深度学习算法在各方面有逐步取代传统算法的趋势，深度学习算法在立体匹配和双目图像超分辨率重建任务上都有着卓越的表现。而多视图像中含有景物的三维关系，同时相比单目图像采样密度更高，因此含有更丰富的信息，可以改善生成点云的效果。但是，由于输入多视图像存在视差、色差、分辨率等差异，如何解决多视图像间的对齐配准问题是使用深度学习神经网络算法时所面临的一个挑战。解决多视图像的配准有益于充分发掘多视图像中的信息，提高点云生成的效果。

成都航维智芯科技有限公司在其申请的专利文献“机载激光雷达点云生成方法及系统”(专利申请专利号：2021113368882，申请公布号：CN113933861A)中提出了一种机载激光雷达点云生成方法。该方法实现的步骤是，1、获取当前计算周期内的GNSS数据和IMU数据，作为第一数据；2、根据所述第一数据和前一计算周期内优化后的第一位姿信息，获得载体在当前计算周期的第一位姿信息；3、获取当前扫描周期内的激光雷达数据，作为第二数据，将所述第二数据和最新的局部地图进行匹配，获得载体在当前扫描周期的第二位姿信息；4、在当前滤波周期内对最新的第一位姿信息和最新的第二位姿信息进行融合滤波，获得当前滤波周期对应的第三位姿信息和位姿信息误差；5、根据最新的位姿信息误差对当前计算周期的第一位姿信息进行优化，得到当前计算周期内优化后的第一位姿信息；6、对所述第三位姿信息以及第二数据进行空间变换，获得当前滤波周期内的点云数据，根据多个滤波周期内的点云数据生成局部地图。

但是，该方法存在的不足之处是，由于该方法采用激光雷达作为点云生成的采集设备，一方面设备成本较高且设备间容易受到干扰，另一方面若需要获得点云其他信息如红外强度信息则需要配准后方能使用且分辨率上限受限于设备最高分辨率。

发明内容

为了解决现有技术中存在的上述问题，本发明提供了一种基于多视红外的稠密点云生成方法。本发明要解决的技术问题通过以下技术方案实现：

本发明实施例提供了一种基于多视红外的稠密点云生成方法，所述稠密点云生成方法包括：

获取多目低分辨率红外相机与高分辨率红外相机的内参和外参；

使用多目低分辨率红外相机与高分辨率红外相机得到多目第一低分辨率红外图像和第一高分辨率红外图像；

构建数据集，所述数据集包括多目低分辨率红外相机与高分辨率红外相机的内参和外参、多目第二低分辨率红外图像和第二高分辨率红外图像，所述第二低分辨率红外图像为通过截取所述第一低分辨率红外图像得到，所述第二高分辨率红外图像为通过截取所述第一高分辨率红外图像得到；