[发明专利]基于几何关系的光流无监督损失计算方法

权利要求书

1.一种基于几何关系的光流无监督损失计算方法，其特征在于，包括：

步骤A：进行光流不相交损失计算；

步骤B：进行非遮挡区域光流不遮挡损失计算；

所述步骤A包括：

步骤A1：对于连续两帧图像，利用光流网络得到第一帧到第二帧的前向光流与第二帧到第一帧的后向光流，将两者不一致区域判定为遮挡区域；

步骤A2：以3×3为滑动核尺寸，1为滑动步长，对尺寸为H×W的第一帧图像，得到(H-2)×(W-2)个尺寸为3×3的基本单位；

其中，H表示：图像的高度为H个像素；W表示：图像的宽度为W个像素；

步骤A3：利用并行计算提高计算效率，将整张图像分为若干基本单位，并在每个基本单位内，依次计算中间像素点和与之相邻的8个像素点间的光流不相交损失；

步骤A4：对所有基本单位损失值求平均，得到整张图片的光流不相交损失；

所述步骤A3包括：

步骤A3.1：在光流移动中，非遮挡区域第一帧中的像素点像素点和与之对应的第二帧中的像素点像素点第一帧中两像素点到第二帧对应位置时，不会发生遮挡，对于遮挡情况，计算光流不相交损失进行惩罚，其中，p_mid对应基本单位的中间像素点，p_i对应基本单位内与p_mid相邻的其他像素点，i＝1,2,…8；

步骤A3.2：若光流与光流未发生交叉，则像素点间的光流不相交损失为0；否则，判定像素点间发生遮挡，计算光流不相交损失；

所述步骤A3.2包括：

步骤A3.2.1：在第一帧图像内，以中间像素点与周围像素点的差异程度，计算光流不相交损失权重，根据如下公式计算每个基本单位中，中间像素点p_mid与相邻周边8个像素点p_i间的光流不相交损失权重w_i：

其中，p_mid为基本单位的中间像素点,p_i对应基本单位内与p_mid相邻的其他像素点，i＝1,2,…8，j∈{R,G,B}，用p_i,、p_mid,表示p_i、p_mid像素点对应的颜色空间RGB三通道值；i表示：与中间像素点相邻的像素点编号；j表示：RGB颜色色域的通道编号；

步骤A3.2.2：获得光流相交系数μ_i与λ_i，计算公式如下：

x_mid+λ_iΔx_mid＝x_i+μ_iΔx_i

y_mid+λ_iΔy_mid＝y_i+μ_iΔy_i

其中，(x_mid，y_mid)为第一帧内中间像素点坐标，(x_i，y_i)为第一帧内相邻像素点坐标，Δx、Δy为像素点由第一帧流向第二帧在坐标系下的位移，求得：

Δ＝-Δx_midΔy_i+Δx_iΔy_mid

Δ表示：中间变量；

步骤A3.2.3：计算一个基本单位内，中间像素点相对于所有8个相邻的周围像素点的光流不相交损失E_unit，公式如下：

其中，i＝1，2，...，8，表示在基本单位内与中间像素点p_mid相邻的8个像素，w_i为p_i的光流不相交损失权重；

E_i表示：单个像素的不相交损失值；

在一个基本单位内计算得到E_unit，共提取(H-2)×(W-2)个基本单位，记E_k表示第k个单位内所求光流不相交损失，k＝1，2，...，(H-2)×(W-2)；

所述步骤A4包括：

对第一帧图片提取的(H-2)×(W-2)个基本单位求得的光流不相交损失取均值，求整张图片的光流不相交损失，公式如下：

其中，E_k表示第k个单位内所求光流不相交损失；

所述步骤B包括：

步骤B1：对连续两帧图像，利用光流网络得到第一帧到第二帧的前向光流与第二帧到第一帧的后向光流，将两者不一致区域判断为遮挡区域；

步骤B2：以4×4为滑动核尺寸，1为滑动步长，对尺寸为H×W的第一帧图像进行采样，得到尺寸为4×4的(H-3)×(W-3)个基本单位；

步骤B3：利用并行计算提高计算效率，将整张图像分为若干基本单位，并在每个基本单位内，依次计算外围12个像素点与中间4个像素点的光流不遮挡损失；

所述步骤B3包括：

步骤B3.1：判断在第二帧中，周边像素点是否流入中间4个像素点组成的四边形内部；

步骤B3.2：对于外围像素点P_i，根据中间像素点组成的四边形ABCD与P_i与在空间上的几何关系，定义像素点P_i的光流不遮挡损失E_i′：

其中，P_i为基本单位中外围的像素点，i＝1，2，...，12；d_i为P_i到四边形各边距离的最小值；

步骤B3.3：求一个基本单位内12个外围像素点的光流不遮挡损失E_unit′：

在一个基本单位内计算得到E_unit′，共提取(H-3)×(W-3)个基本单位，记E_k′表示第k个单位内所求光流不遮挡损失，k＝1，2，...，(H-3)×(W-3)；

步骤B4：对第一帧图片提取的(H-3)×(W-3)个基本单位求得的光流不遮挡损失取均值，求整张图片的光流不遮挡损失，公式如下：

其中，H表示：图像的高度为H个像素；W表示：图像的宽度为W个像素。

2.根据权利要求1所述的基于几何关系的光流无监督损失计算方法，其特征在于，所述步骤B3.1包括：

步骤B3.1.1：定义一个基本单位内，中间4个像素点Pi与外围12个像素点P_i，其中j∈{A，B，C，D}，i＝1，2，...，12，第一帧采样获得基本单位的中间4个像素点P_AP_BP_CP_D在第二帧中构成四边形ABCD，由对角线分割为两个三角形，根据选择不同对角线AC或BD进行分割，分为各含两个三角形的两种情况ΔABC+ΔACD与ΔABD+ΔBCD，当且仅当以任一种分割方式，外围像素点均流入某三角形内时，判定发生遮挡；

步骤B3.1.2：对三角形ΔABC与点P_i，当BA×BP、AC×AP、CB×CP为同一方向时，判断P_i在ΔABC内；同理可推断P_i与ΔACD、ΔABD、ΔBCD的空间关系，计算逻辑表达式如下：

x_BA表示：三角形的BA边向量的x坐标；

y_BA表示：三角形的BA边向量的y坐标；

满足(Γ_ΔABC∨Γ_ΔACD)∧(Γ_ΔABD∨Γ_ΔBCD)＝1时，判定P_i在四边形ABCD内。