[发明专利]基于视频处理方法及装置、视频设备及存储介质

权利要求书

1.一种基于视频处理方法，其特征在于，包括：

根据从视频的图像帧提取的第一类特征，进行像素级别的特征对齐获得第一对齐特征；其中，所述第一类特征包括：像素特征；

根据从所述视频的图像帧提取的第一类特征以及第二类特征，进行实例级别的特征对齐得到第二对齐特征；其中，所述第二类特征包括：目标所在候选区域的区域特征；所述根据从所述视频的图像帧提取的第一类特征以及第二类特征，进行实例级别的特征对齐得到第二对齐特征，包括：结合相邻两帧图像的像素特征及所述相邻两帧图像中后一帧图像的所述区域特征得到待对齐特征；根据连续三帧图像内同一个目标的两个待对齐特征得到同一个目标的所述第二对齐特征；

融合所述第一对齐特征和所述第二对齐特征，得到第三对齐特征。

2.根据权利要求1所述的方法，其特征在于，

所述根据从视频的图像帧提取的第一类特征，进行像素级别的特征对齐获得第一对齐特征，包括：

根据第一像素特征和第二像素特征，生成第一待对齐特征；其中，所述第一像素特征为：从第m-1个图像帧提取的像素特征；所述第二像素特征为：从第m个图像帧中提取的像素特征；m为正整数；

根据所述第二像素特征和第三像素特征，生成第二待对齐特征，其中，所述第三像素特征为：从第m+1个图像帧提取的像素特征；

融合所述第一待对齐特征和所述第二待对齐特征，得到所述第一对齐特征。

3.根据权利要求1所述的方法，其特征在于，所述结合相邻两帧图像的像素特征及所述相邻两帧图像中后一帧图像的所述区域特征得到待对齐特征；根据连续三帧图像内同一个目标的两个待对齐特征得到同一个目标的所述第二对齐特征，包括：

结合第一区域特征、第一像素特征及第二像素特征，得到第三待对齐特征；所述第一像素特征为所述第一类特征，是从第m-1个图像帧提取的像素特征；所述第二像素特征为所述第一类特征，是从第m个图像帧提取的像素特征；所述第一区域特征为所述第二类特征，是从第m个图像帧提取的候选区域特征；

结合第二区域特征、所述第二像素特征及第三像素特征，得到第四待对齐特征，其中，所述第二区域特征为所述第二类特征，是从第m+1个图像帧提取的候选区域特征；所述第三像素特征为所述第一类特征，是从第m+1个图像帧提取的像素特征；

根据所述第三待对齐特征及所述第四待对齐特征，得到所述第二对齐特征。

4.根据权利要求1至3任一项所述的方法 ，其特征在于，

所述方法还包括：

确定融合模式的模型参数；

所述融合所述第一对齐特征和所述第二对齐特征，得到第三对齐特征，包括：

根据所述模型参数，融合所述第一对齐特征和所述第二对齐特征得到所述第三对齐特征。

5.根据权利要求4所述的方法，其特征在于，

所述确定融合模式，包括：

根据所述第一类特征和/或所述第二类特征，确定融合模型的模型参数。

6.根据权利要求5所述的方法，其特征在于，

所述第二类特征包括：第一区域特征和第二区域特征；

所述根据所述第一类特征和/或所述第二类特征，确定融合模型的模型参数，包括：

根据所述第一区域特征的第一区域中心坐标和第二区域特征的第二区域中心坐标，确定区域变化量；所述第一区域特征为所述第二类特征，是从第m个图像帧提取的候选区域特征；所述第二区域特征为所述第二类特征，是从第m+1个图像帧提取的候选区域特征；

基于所述区域变化量，确定第一模型参数。

7.根据权利要求6所述的方法，其特征在于，

所述根据所述第一类特征和/或所述第二类特征，确定融合模型的模型参数包括：

基于第一区域特征及第二像素特征，确定第二模型参数，其中，所述第一区域特征为所述第二类特征，是从第m个图像帧提取的候选区域特征；所述第二像素特征为所述第一类特征：从第m个图像帧中提取的像素特征。