[发明专利]确定单应性矩阵的方法、装置、介质、设备和程序产品

权利要求书

1.一种确定单应性矩阵的方法，包括：

获取相机拍摄的第一图像帧和第二图像帧，所述第一图像帧和所述第二图像帧具有相同区域的目标路面；

利用神经网络模型对所述第一图像帧和所述第二图像帧进行处理，确定帧间里程计；

基于所述第一图像帧，确定所述目标路面的平面方程；

基于所述帧间里程计、所述平面方程和预存的相机内参，确定所述目标路面的单应性矩阵。

2.根据权利要求1所述的方法，其中，基于所述帧间里程计、所述平面方程和预存的相机内参，确定所述目标路面的单应性矩阵，包括：

基于所述平面方程，确定所述相机的当前高度以及所述目标路面的当前法向量；

基于所述帧间里程计，确定帧间旋转矩阵和帧间平移向量；

基于所述当前法向量和所述帧间平移向量的乘积、与所述当前高度的比值，确定第一矩阵；

基于所述帧间旋转矩阵和所述第一矩阵的差值，确定第二矩阵；

基于所述第二矩阵、所述相机内参和所述相机内参的逆矩阵，确定所述目标路面的单应性矩阵。

3.根据权利要求1或2所述的方法，其中，所述神经网络模型包括第一网络分支；

对所述第一图像帧和所述第二图像帧进行处理，确定帧间里程计，包括：

利用所述第一网络分支，对所述第一图像帧和所述第二图像帧编码，得到特征向量；

对所述特征向量解码，得到所述帧间里程计。

4.根据权利要求1至3之一所述的方法，其中，所述神经网络模型包括第二网络分支；

基于所述第一图像帧，确定所述目标路面的平面方程，包括：

利用所述第二网络分支对所述第一图像帧进行处理，确定所述目标路面的路面偏移量；

基于预存的所述目标路面的初始法向量、所述路面偏移量以及预存的所述相机的初始高度，确定所述目标路面的平面方程。

5.根据权利要求4所述的方法，其中，利用所述第一网络分支对所述第一图像帧进行处理，确定所述目标路面的路面偏移量，包括：

利用所述第一网络分支中的不同分辨率的卷积层从所述第一图像帧中提取多个图像特征，并对所述多个图像特征进行融合，得到融合图像特征；

基于所述融合图像特征，估计所述目标路面的第一偏移角度、第二偏移角度和高度偏移量；

基于所述第一偏移角度和所述第二偏移角度，确定所述目标路面的旋转偏移量；

基于所述旋转偏移量和所述高度偏移量，确定所述目标路面的路面偏移量。

6.一种用于训练神经网络模型的方法，包括：

获取训练集中的多组样本图像对以及每个所述样本图像对的样本相机内参，每组所述样本图像对包括第一样本图像帧和第二样本图像帧，所述第一样本图像帧包括样本路面区域的第一掩模，所述第二样本图像帧包括所述样本路面区域的第二掩模；

利用预先构建的初始神经网络模型中的第一初始网络分支和第二初始网络分支对所述样本图像对进行处理，得到所述样本路面的样本平面方程和样本帧间里程计；

基于所述样本相机内参、所述样本平面方程和样本帧间里程计，得到样本单应性矩阵；

基于所述第二样本图像帧和所述样本单应性矩阵，确定样本映射图像；

基于所述样本映射图像与所述第一样本图像帧，确定全局光度一致性损失；

基于所述样本映射图像和所述第二掩模，确定所述样本映射图像中的样本路面区域；基于所述第一掩模和所述第一样本图像，确定所述第一样本图像中的样本路面区域；基于所述第一样本图像中的样本路面区域与所述样本映射图像中的样本路面区域，确定所述路面光度一致性损失；

基于所述全局光度一致性损失和所述路面光度一致性损失，训练所述初始神经网络模型，得到训练后的神经网络模型。