[发明专利]基于伪激光雷达的端到端的场景流、位姿联合学习方法

说明书

本发明提供了一种基于伪激光雷达的端到端的场景流、位姿联合学习方法，其过程为，首先利用深度网络获得连续两帧单目图像的深度图，并将深度图生成两帧图像对应的伪点云，再将伪点云和激光雷达点云分别生成L层金字塔，在对伪点云和激光雷达点云进行逐层融合之后输入场景流‑位姿网络，实现场景流和位姿的联合估计。本发明采用了深度学习方法，端到端地进行位姿及场景流学习，使用了伪点云和激光雷达点云分层特征提取再融合的方法，并利用分割掩膜实现动态场景流和位姿的联合学习。本发明对伪点云和激光雷达点云进行融合，提高了网络估计的准确性，有利于实际应用。

技术领域

本发明涉及计算机视觉，具体地，涉及一种基于伪激光雷达的端到端的场景流、位姿联合学习方法及系统。

背景技术

场景流是三维稠密运动场，表示实际场景中每个点的3D运动。场景流结合立体空间的深度信息和传统的光流信息，实现了较好的场景适应性，场景流估计可以广泛应用于自主驾驶、运动分割、动作识别等领域。

深度估计是预测一帧图像中每个像素点的深度，在诸如增强现实、3D重建、自动驾驶汽车、位置识别等广泛的领域中都有应用。从单目图像中恢复三维深度是计算机视觉中的一个基本问题，早期的方法使用特征向量和概率模型来提供单目线索。后来，随着深度网络的出现，提出了各种系统来以监督的方式从地面真实深度图中学习单目深度估计。

位姿估计是一个长期存在的视觉问题。传统方法利用手工制作的描述符计算后续的基本矩阵。最近，随着深度学习在计算机视觉领域的应用，深度神经网络在特征提取和相邻帧之间的密集对应估计方面取得了较好的效果。

发明内容

本发明的目的是提供一种基于伪激光雷达的端到端的场景流、位姿联合学习方法及系统。

根据本发明提供的一种基于伪激光雷达的端到端的场景流、位姿联合学习方法，包括：

步骤M1：对于连续的两帧单目图像I_t、I_t+1，利用深度网络生成深度图D_t、D_t+1；

步骤M2：利用生成的两帧深度图D_t、D_t+1，分别生成两帧图像的空间伪点云PC₁，PC₂；

步骤M3：将空间伪点云PC₁，PC₂和t、t+1时刻的激光雷达点云Q₁，Q₂分别生成L 层金字塔，对于每一层，使用最远点采样将点从上一层向下采样4倍；

步骤M4：将第L层的伪点云PC₁和激光雷达点云Q₁进行融合，伪点云PC₂和激光雷达点云Q₂进行融合；

所述步骤M4包括：

步骤M4.1：对于每个点p_i∈PC₁选择K个最近邻C_i＝{c_i^k＝{y_i^k,g_i^k}|k＝1,....,K}，其中 C_i∈Q₁，Q₁中的K个点C_i用于对点的运动信息进行编码并将编码信息嵌入到p_i中，并更新p_i点的特征f_i为e_i，最终输出的融合点云为O＝{o_i＝{x_i,e_i}|i＝1,....,n₁}；