[发明专利]基于门控成像的双目深度估计方法、装置及计算机设备

权利要求书

1.一种基于门控成像的双目深度估计方法，其特征在于，所述方法应用于双目门控成像相机系统，所述双目门控成像相机系统包括第一门控相机和第二门控相机，所述方法包括：

获取所述第一门控相机和第二门控相机下曝光的双目图像对；

分别对所述第一门控相机和第二门控相机各自采集的门控图像组进行深度估计，获取两个视点分别对应的初始深度信息；

对每一对不同门控时刻的近红外图像进行双目深度估计，获得每个门控曝光对应的双目立体匹配深度结果；以及

根据所述两个视点分别对应的初始深度信息和所述双目立体匹配深度结果，获得当前场景下的双目深度信息；

其中，所述分别对所述第一门控相机和第二门控相机各自采集的门控图像组进行深度估计，获取两个视点分别对应的初始深度信息，包括：

利用门控深度估计模型，分别对所述第一门控相机和第二门控相机各自采集的门控图像组进行深度估计，获取两个视点分别对应的初始深度信息；其中，所述门控深度估计模型的公式表示如下：

其中，为门控相机在不同延迟时间ξ下采集到的图像，Concat(·)为逐通道的串联，GatedDepthNet(·)为门控深度估计网络，Depth_Gated为输出的门控深度图像结果；

所述获得当前场景下的双目深度信息包括：

利用残差网络将所述双目立体匹配深度结果中的深度信息迁移至所述两个视点分别对应的初始深度信息中，获得当前场景下的双目深度信息。

2.根据权利要求1所述的方法，其特征在于，在所述分别对所述第一门控相机和第二门控相机各自采集的门控图像组进行深度估计，获取两个视点分别对应的初始深度信息之前，所述方法还包括：

根据拍摄场景的范围设定所述第一门控相机视点和所述第二门控相机视点的基线距离以及光源位置；

对所述双目门控成像相机系统进行标定以获取所述双目门控成像相机系统的相机参数；

基于所述相机参数对所述第一门控相机和第二门控相机下曝光的双目图像对进行去畸变和双目立体校正操作。

3.根据权利要求2所述的方法，其特征在于，所述相机参数包括相机内参和双目的相对外参；所述基于所述相机参数对所述第一门控相机和第二门控相机下曝光的双目图像对进行去畸变和双目立体校正操作，包括：

基于所述相机内参对所述第一门控相机和第二门控相机下曝光的双目图像对进行畸变矫正以将图像坐标变换到理想图像坐标系；

基于所述相机内参以及双目的相对外参进行计算，获得对极线平行的变换矩阵及新的投影矩阵，并利用图像的变形插值方法获得矫正后的极线对齐的双目图像对。

4.根据权利要求1所述的方法，其特征在于，所述对每一对不同门控时刻的近红外图像进行双目深度估计，获得每个门控曝光对应的双目立体匹配深度结果，包括：

分别对每个门控曝光采集到双目立体矫正的图像进行水平极线上的匹配，在给定的视差范围内，利用神经网络的卷积激活操作提取图像特征，以构建描述双目视点上像素之间匹配程度的代价体；

利用三维卷积及可微Softmax操作逐像素获得代价最小位置对应的视差值，得到对应每个门控曝光的双目立体匹配深度结果。