[发明专利]确定单应性矩阵的方法、装置、介质、设备和程序产品

说明书

公开了一种确定路面的单应性矩阵的方法、装置、存储介质、电子设备和计算机程序产品，其中，方法包括：获取相机拍摄的第一图像帧和第二图像帧，第一图像帧和第二图像帧具有相同区域的目标路面；利用神经网络模型对第一图像帧和第二图像帧进行处理，确定帧间里程计；基于第一图像帧，确定目标路面的平面方程；基于帧间里程计、平面方程和预存的相机内参，确定目标路面的单应性矩阵。提高了单应性矩阵与路面的几何信息的一致性，有助于提高准确度。

技术领域

本公开涉及图像处理技术领域，尤其涉及一种确定单应性矩阵的方法、装置、存储介质、电子设备和计算机程序产品。

背景技术

单应性矩阵(Homogrpahy)用于描述三维空间中的平面上的点在两个视角中成像位置的对应关系。路面的单应性矩阵可用于生成鸟瞰图(Bird Eye View)或者逆透视映射(Inverse Perspective Mapping)，对于自动驾驶以及室内机器人具有非常重要的应用价值。

相关技术中，估计路面的单应性矩阵的方法分为基于特征点的方法和基于直接法的方法。基于特征点的方法首先提取路面区域的特征点，然后通过匹配或者跟踪的方式进行特征点匹配，再通过5-点法或者8-点法结合随机一致性采样恢复路面单应性矩阵；基于直接法的方法可以利用图像稠密像素的对应关系对单应性矩阵进行优化。

发明内容

本公开的实施例提供了一种确定路面的单应性矩阵的方法、装置、存储介质、电子设备和计算机程序产品。

根据本公开实施例的一个方面，提供一种确定单应性矩阵的方法，包括：获取相机拍摄的第一图像帧和第二图像帧，第一图像帧和第二图像帧具有相同区域的目标路面；利用神经网络模型对第一图像帧和第二图像帧进行处理，确定帧间里程计；基于第一图像帧，确定目标路面的平面方程；基于帧间里程计、平面方程和预存的相机内参，确定目标路面的单应性矩阵。

根据本公开实施例的又一个方面，提供一种用于训练神经网络模型的方法，包括：获取训练集中的多组样本图像对以及每个样本图像对的样本相机内参，每组样本图像对包括第一样本图像帧和第二样本图像帧，第一样本图像帧包括样本路面区域的第一掩模，第二样本图像帧包括样本路面区域的第二掩模；利用预先构建的初始神经网络模型中的第一初始网络分支和第二初始网络分支对样本图像对进行处理，得到样本路面的样本平面方程和样本帧间里程计；基于样本相机内参、样本平面方程和样本帧间里程计，得到样本单应性矩阵；基于第二样本图像帧和样本单应性矩阵，确定样本映射图像；基于样本映射图像与第一样本图像帧，确定全局光度一致性损失；基于样本映射图像和第二掩模，确定样本映射图像中的样本路面区域；基于第一掩模和第一样本图像，确定第一样本图像中的样本路面区域；基于第一样本图像中的样本路面区域与样本映射图像中的样本路面区域，确定路面光度一致性损失；基于全局光度一致性损失和路面光度一致性损失，训练初始神经网络模型，得到训练后的神经网络模型。

根据本公开实施例的又一个方面，提供一种确定单应性矩阵的装置，包括：图像获取单元，被配置成获取相机拍摄的第一图像帧和第二图像帧，第一图像帧和第二图像帧具有相同区域的目标路面；帧间里程计单元，被配置成利用神经网络模型对第一图像帧和第二图像帧进行处理，确定帧间里程计；平面方程单元，被配置成基于第一图像帧，确定目标路面的平面方程；矩阵确定单元，被配置成基于帧间里程计、平面方程和预存的相机内参，确定目标路面的单应性矩阵。