[发明专利]基于损失函数的双目相机立体匹配算法、系统和智能终端

说明书

本发明公开了一种基于损失函数的双目相机立体匹配算法、系统和智能终端，所述方法包括：获取双目相机的左目图像和右目图像；提取所述左目图像的像素点和所述右目图像的像素点，并计算每个像素点的单点相似度，以所述单点相似度作为第一损失函数；提取所述左目图像和所述右目图像的整体相似度，并以所述整体相似度的最大值作为第二损失函数；对所述第一损失函数和所述第二损失函数进行加权求和，以得到联合损失函数；基于所述联合损失函数对双目相机进行立体匹配。解决了现有技术中由于真值采集依赖性强而导致的双目匹配算法的结果准确性和泛化能力较差的技术问题。

技术领域

本发明涉及立体匹配算法技术领域，具体涉及一种基于损失函数的双目相机立体匹配算法、系统和智能终端。

背景技术

双目相机是指对符合人眼工学的硬连接的两个摄像头，在工作过程中，双目相机拍摄同一场景的左、右两幅视点图像，需要运用立体匹配算法获取视差图，进而获取深度图。因此，双目相机的立体匹配算法的输出结果准确性直接影响到深度图的效果和准确性。

在现有技术中，利用监督学习的深度学习算法实现立体匹配算法，该算法在训练过程需要数据集的距离真值；理论上获取足够多的距离真值，可以实现监督方案的落地。但是，首先，由于获取距离真值时，对场景（包括相机采集到的实际物理场景，也包括镜头本身的参数）的依赖性比较大，导致算法不具备泛化能力。同时，由于需要测量图像上每个像素点的距离真值，因此，获取距离真值的困难度比较大。并且，在工作过程中需要利用激光雷达等传感器采集真值，无法满足获取相机对应的每个像素的距离真值，需要后期加入人工处理，而且多传感器（激光、相机）的融合本身也不稳定，导致数据采集的准确性较差。

发明内容

为此，本发明实施例提供一种基于损失函数的双目相机立体匹配算法、系统和智能终端，以至少部分解决现有技术中由于真值采集依赖性强而导致的双目匹配算法的结果准确性较差的技术问题。

为了实现上述目的，本发明实施例提供如下技术方案：

一种基于损失函数的双目相机立体匹配算法，所述方法包括：

获取双目相机的左目图像和右目图像；

提取所述左目图像的像素点和所述右目图像的像素点，并计算每个像素点的单点相似度，以所述单点相似度作为第一损失函数；

提取所述左目图像和所述右目图像的整体相似度，并以所述整体相似度的最大值作为第二损失函数；

对所述第一损失函数和所述第二损失函数进行加权求和，以得到联合损失函数；

基于所述联合损失函数对双目相机进行立体匹配。

进一步地，利用残差网络作为第一层网络，通过所述第一层网络计算所述第一损失函数。

进一步地，所述提取所述左目图像的像素点和所述右目图像的像素点，并计算每个像素点的单点相似度，以所述单点相似度作为第一损失函数，具体包括：

提取所述左目图像和所述右目图像每个像素的特征向量；

针对所述左目图像中每个像素点可能视差，在所述右目图像中找到相应像素点的位置，并计算该组对应像素点的特征向量的余弦相似度；

基于所述特征向量的余弦相似度计算单点相似度，并将所述单点相似度作为第一损失函数。

进一步地，所述基于所述特征向量的余弦相似度计算单点相似度，具体包括：

利用以下公式计算单点相似度：

其中：

其中，X，Y为左图和右图中的像素值，R，C为邻域大小，则为左图和右图的平均灰度值，为左图和右图的灰度值方差，为左图和右图的协方差，为经验参数。

进一步地，将所述单点相似度作为第一损失函数，具体包括：

将所述单点相似度作为第一损失函数。