[发明专利]基于几何关系的光流无监督损失计算方法

说明书

本发明提供了一种基于几何关系的光流无监督损失计算方法，包括：步骤A：进行光流不相交损失计算；步骤B：进行非遮挡区域光流不遮挡损失计算。本发明利用基于几何约束关系的光流无监督损失计算方法，解决了光流训练中缺乏标注数据集的问题，减少了人工标注数据的成本，能实现较高的准确性，有利于实际应用。

技术领域

本发明涉及计算机视觉技术领域，具体地，涉及一种基于几何关系的光流无监督损失计算方法。

背景技术

光流法是目前主流的运动图像分析方法，光流是计算机视觉领域的重要研究部分：被观察物体的三维速度矢量经投影在成像面，构成二维速度矢量，不仅包含被观察物体的运动信息，还有景物的三维结构信息。通过研究光流，可以在目标识别、场景分割、机器人导航等实现应用，前景广泛。

随着机器学习技术的发展，利用机器学习对光流估计，取得了较好的成果。对光流的无监督学习是一个重要的研究方向，其成果广泛地应用于计算机视觉领域：如在自动驾驶技术中，利用对光流的无监督学习训练，对行人行为和车辆行为进行属性分析，实现对场景的理解与决策。

在光流任务中，相比监督学习，无监督学习有以下优势：对于光流数据，若采用监督学习，其训练数据需要人类的手工筛选与标注，不仅难度大、成本高，数据的准确性与可用性也较低。相比之下，无监督学习可以节约人工进行标注的成本，利用计算机在巨大的样本中筛选部分有代表性的样本进行训练，是研究光流任务更好的选择。

损失函数是用于表示某随机事件的损失或风险的函数。损失函数越科学合理，对模型的指导也越客观准确，有利于我们进一步优化模型。对于光流研究，采用无监督学习方法，损失函数的选择是最为重要的一环：损失函数对学习误差进行惩罚，决定下一轮训练的方向，直接影响到最终的模型学习成果。

本发明提出了一种基于几何关系的光流无监督损失计算方法：对于连续两帧图像，非遮挡区域中的像素满足几何约束关系：光流不相交与光流不遮挡。对于不满足几何约束的像素点，本发明定义了光流不相交损失和光流不遮挡损失进行惩罚，对模型训练起到指导作用。两种损失基于无监督学习方法，无需有标注的数据集样本，并实现了较高的准确性。

光流：光流为观察者和场景间的相对运动而引起图像像素点的表观运动，利用相邻帧图像中像素点的相关性，推测出第一帧图像与第二帧图像间像素级别的对应关系，从而得到两帧间物体的运动信息。

无监督学习：是三类主流机器学习方法之一，可以用没有预先标注的数据集，利用计算机在巨大的样本中筛选部分有代表性的样本进行训练，能够解决对数据集进行人工标注成本过高、标注精度不足的难题。

损失函数：在数学优化和决策理论中，损失函数是将一个或多个变量的一个或多个事件映射到真值上，用于表示事件的损失或风险。在机器学习模型训练中，通过降低损失的方法实现优化与决策。

专利文献CN110490928A(申请号：201910603891.2)公开了一种基于深度神经网络的相机姿态估计方法，步骤如下：1)构建相机姿态估计网络；2)构建无监督训练方案，利用估计的深度图、帧间相对位姿及光流从输入的前后帧图像中分别重建出相应的图像，利用输入图像和重建图像之间的光度误差构建网络的损失函数；3)位姿估计模块与光流估计模块共享特征提取部分，加强特征对于帧间的几何联系；4)输入待训练单视点视频，输出对应帧间相对位姿，通过最优化手段降低损失函数来训练模型，以至网络达到收敛。

发明内容

针对现有技术中的缺陷，本发明的目的是提供一种基于几何关系的光流无监督损失计算方法。

如图1，根据本发明提供的基于几何关系的光流无监督损失计算方法，包括：

步骤A：进行光流不相交损失计算；

步骤B：进行非遮挡区域光流不遮挡损失计算。

优选地，所述步骤A包括：