[发明专利]图像处理方法、装置、电子设备以及存储介质

权利要求书

1.一种图像处理方法，其特征在于，包括：

对视频流序列进行特征提取，得到所述视频流序列的图像特征序列以及针对帧间图像的差异特征序列；

基于所述图像特征序列和所述差异特征序列进行融合处理，得到第一融合特征序列；

根据帧间图像的相关性权值对所述第一融合特征序列进行处理，得到第二融合特征序列；

根据所述第二融合特征序列，从所述视频流序列中确定至少一帧关键帧图像。

2.根据权利要求1所述的方法，其特征在于，对视频流序列进行特征提取，得到所述视频流序列的图像特征序列，包括：

对所述视频流序列进行特征提取，得到所述视频流序列中的每帧图像的图像特征；

根据所述每帧图像的图像特征，确定所述视频流序列的所述图像特征序列。

3.根据权利要求1或2所述的方法，其特征在于，对视频流序列进行特征提取，得到针对帧间图像的差异特征序列，包括：

对于所述视频流序列中的任意一帧图像，基于所述图像的图像特征以及前一帧图像的图像特征，确定前向差分特征；

基于所述图像的图像特征以及后一帧图像的图像特征，确定后向差分特征；

基于所述视频流序列中所有帧图像的所述前向差分特征和所述后向差分特征，确定所述视频流序列的所述差异特征序列。

4.根据权利要求1至3任一项所述的方法，其特征在于，所述基于所述图像特征序列和所述差异特征序列进行融合处理，得到第一融合特征序列，包括：

根据所述差异特征序列中帧间图像的差分变化率，确定所述差异特征序列的目标权值；所述差分变化率根据每帧图像的差异特征确定得到；

基于所述图像特征序列、所述目标权值以及所述差异特征序列进行融合处理，得到所述第一融合特征序列。

5.根据权利要求1至4任一项所述的方法，其特征在于，所述根据帧间图像的相关性权值对所述第一融合特征序列进行处理，得到第二融合特征序列，包括：

基于自注意力机制，确定帧间图像的所述相关性权值；

根据所述相关性权值对所述第一融合特征序列进行处理，得到所述第二融合特征序列。

6.根据权利要求1至5任一项所述的方法，其特征在于，所述根据所述第二融合特征序列，从所述视频流序列中确定至少一帧关键帧图像，包括：

根据所述第二融合特征序列，预测得到每一帧图像的重要性分值；

对所述视频流序列进行图像检测，确定所述视频流序列的至少一个场景切换节点；

基于所述至少一个场景切换节点对所述视频流序列进行分割，得到至少两个视频序列片段；

根据各所述视频序列片段的长度，以及所述视频序列片段中每帧图像的所述重要性分值，确定所述关键帧图像。

7.根据权利要求1至6任一项所述的方法，其特征在于，所述对视频流序列进行特征提取，得到所述视频流序列的图像特征序列以及针对帧间图像的差异特征序列，包括：

将所述视频流序列输入预训练的特征提取网络，得到所述特征提取网络输出的所述图像特征序列；

将所述图像特征序列输入预训练的时序差分网络，得到所述时序差分网络输出的差异特征序列；

所述基于所述图像特征序列和所述差异特征序列进行融合处理，得到第一融合特征序列，包括：

所述时序差分网络基于所述图像特征序列和所述差异特征序列进行融合处理，输出所述第一融合特征序列；

所述根据帧间图像的相关性权值对所述第一融合特征序列进行处理，得到第二融合特征序列，包括：

将所述第一融合特征序列输入预训练的自注意力网络，以使所述自注意力网络根据确定的所述相关性权值对所述第一融合特征序列进行处理，输出所述第二融合特征序列；

所述根据所述第二融合特征序列，从所述视频流序列中确定至少一帧关键帧图像，包括：

将所述第二融合特征序列输入预训练的回归网络，得到所述回归网络输出的预测结果，所述预测结果表示所述关键帧图像的预测结果。