[发明专利]一种基于自监督学习的视频盲超分辨率重建方法及系统

权利要求书

1.一种基于自监督学习的视频盲超分辨率重建方法，其特征在于，所述方法包括：

S1：基于第一分辨率视频确定第一分辨率视频序列；

S2：采用自监督学习方法确定模糊核估计网络、光流估计网络、特征提取网络和潜在高分辨率中间帧重建网络；

S3：基于所述模糊核估计网络，利用所述第一分辨率视频序列估计模糊核；

具体公式为：

K_i＝N_k(C[y_i-N,…,y_i-1,y_i,y_i+1,…,y_i+N])；

其中，K_i为模糊核，N_k(·)为模糊核估计网络，C[·]为连接操作，y_i-N为第一分辨率视频序列中第i-N视频帧；

S4：基于所述光流估计网络和所述第一分辨率视频序列确定形变矩阵；

S5：利用所述特征提取网络提取所述第一分辨率视频序列中各视频帧的特征，根据所述形变矩阵对齐各视频帧的特征，获得对齐后各视频帧的特征；

所述利用所述特征提取网络提取第一分辨率视频序列中各视频帧的特征，根据所述形变矩阵对齐各视频帧的特征，获得对齐后各视频帧的特征，具体包括：

S51：利用所述特征提取网络提取第一分辨率视频序列中各视频帧的特征；

S52：利用形变操作将各视频帧的特征向中间视频帧的特征进行对齐，获得对齐后各视频帧的特征；

S6：利用所述潜在高分辨率中间帧重建网络和所述对齐后各视频帧的特征来构建第二分辨率中间视频帧；

S7：基于所述第二分辨率中间视频帧确定第二分辨率视频；所述第二分辨率视频的分辨率大于所述第一分辨率视频的分辨率。

2.根据权利要求1所述的基于自监督学习的视频盲超分辨率重建方法，其特征在于，所述采用自监督学习方法确定模糊核估计网络、光流估计网络、特征提取网络和潜在高分辨率中间帧重建网络，具体包括：

S21：通过卷积操作根据所述模糊核确定模糊矩阵；

S22：根据所述模糊矩阵构建循环一致性损失函数；

S23：构建模糊核正则损失函数；

S24：构建辅助重建损失函数；

S25：根据所述循环一致性损失函数、所述模糊核正则损失函数和所述辅助重建损失函数确定总损失函数；

S26：当总损失函数最小时，确定模糊核估计网络、光流估计网络、特征提取网络和潜在高分辨率中间帧重建网络。

3.根据权利要求1所述的基于自监督学习的视频盲超分辨率重建方法，其特征在于，所述基于所述光流估计网络和所述第一分辨率视频序列确定形变矩阵，具体包括：

S41：基于所述光流估计网络计算第一分辨率视频序列中各视频帧与中间视频帧的光流；

S42：采用双线性插值方法根据所述光流计算形变矩阵；根据所述形变矩阵确定形变操作。

4.根据权利要求1所述的基于自监督学习的视频盲超分辨率重建方法，其特征在于，所述利用所述潜在高分辨率中间帧重建网络和所述对齐后各视频帧的特征来构建第二分辨率中间视频帧，具体公式为：

其中，N_I(·)为潜在高分辨率中间帧重建网络，C[·]为连接操作，为第一分辨率视频序列中对齐后的第j-N视频帧特征，x_i为第二分辨率中间视频帧。