[发明专利]基于单目相机的深度光流预测方法、装置、设备及介质

说明书

本发明实施例公开了一种基于单目相机的深度光流预测方法、装置、设备及存储介质。该方法包括：获取参考图像和相邻图像，并将参考图像和相邻图像输入至已训练完成的深度光流预测模型中；根据深度光流预测模型的输出结果，分别预测出参考图像的目标深度信息和参考图像到相邻图像的目标光流信息；其中，深度光流预测模型包括深度预测网络、光流预测网络以及分别与深度预测网络和光流预测网络连接的深度光流信息交互模块。本发明实施例的技术方案，通过联合优化深度预测和光流预测的方式，可显著提高二者的预测精度和预测实时性，达到了高效率高精度的深度预测和光流预测的效果。

技术领域

本发明实施例涉及图像技术领域，尤其涉及一种基于单目相机的深度光流 预测方法、装置、设备及介质。

背景技术

在计算机视觉和机器人技术中，深度预测和光流预测是理解空间三维几何 结构和相机运动的两项重要任务。其中，光流预测一直是计算机视觉中的经典 问题，也是解决很多其它问题的基础，其通常是从相互关联的一对图像中预测 出参考图像中各个像素点在其相邻图像中的位置，因此，光流信息具有丰富的 运动信息；相应的，深度信息是将二维图像转化到三维空间的必要条件，深度 预测侧重对物体结构信息的学习。

近年来，由于单目相机轻量级和低成本的特性，利用单目相机进行定位和 构建地图的应用越来越广泛，由此出现了许多成熟的单目相机SLAM系统。SLAM 是同时定位与地图构建(simultaneous localization and mapping)的简称， 其通常是搭载预设传感器的主体，在没有环境先验信息的情况下，可于运动过 程中建立环境的模型，同时估计自己的运动。如果这里的预设传感器主要是相 机，其还可称为“视觉SLAM”。

目前的单目相机SLAM系统可以分为特征点法和直接法两类。其中，特征点 法首先检测当前图像的稀疏特征点，并寻找图像与局部地图之间的特征对应关 系，然后根据对应关系运用PnP算法估计相机位姿，再通过三角测量求解特征 点深度。但是，特征点法只能产生一个稀疏的深度图，这样的深度图只适用于 位姿跟踪，而不适用于其它某些任务，如规避障碍、增强现实等等。在此基础 上，为了获得更加稠密的深度图，直接法通过极线搜索在当前图像的每个像素 与其对应的关键图像之间寻找匹配，再通过三角测量求解匹配点深度。但是， 传统直接法是对图像直接处理，其受光照等环境影响较大，且只能在高纹理区域找到可靠的匹配，在弱纹理区域找到匹配的可靠性较低，降低了系统的精度。 也就是说，基于传统的单目相机SLAM系统的深度预测方案，要么只能得到稀疏 或者半稠密的深度图，深度预测不够完整；又或者，能够得到稠密的深度图， 但是在弱纹理区域的深度预测精度较低。

除上述方案外，目前利用单目相机进行深度预测的方案还有很多种，如单 视角深度预测，其是从单一视角观察空间，容易从训练数据中过度地学习结构 先验信息，因此可能会在之前未见过的场景中表现不佳；再如基于多视角立体 视觉的深度预测，其能够在多个视角观察和获取景物的图像，以此完成匹配和 深度预测，从不同视角下的二维图像恢复三维场景结构；再如，将传统方法和 深度学习相结合的深度预测方案如CNN-SLAM系统，其将神经网络预测的深度图 作为SLAM系统的初始化深度，然后再在SLAM系统运行时通过BA优化深度值， 但是这种方法并没有很好的利用多视角信息，最终深度预测的精度不高。

发明内容

本发明实施例提供了一种基于单目相机的深度光流预测方法、装置、设备 及介质，以实现联合优化深度预测和光流预测的效果。

第一方面，本发明实施例提供了一种基于单目相机的深度光流预测方法， 可以包括：

获取参考图像和相邻图像，并将参考图像和相邻图像输入至已训练完成的 深度光流预测模型中；

根据深度光流预测模型的输出结果，分别预测出参考图像的目标深度信息 和参考图像到相邻图像的目标光流信息；