[发明专利]基于视频处理方法及装置、视频设备及存储介质

说明书

本发明实施例公开了一种基于视频处理方法及装置、视频设备及存储介质。所述方法包括：根据从视频的图像帧提取的第一类特征，进行像素级别的特征对齐获得第一对齐特征；根据从所述视频的图像帧提取的第二类特征，进行实例级别的特征对齐得到第二对齐特征；融合所述第一对齐特征和所述第二对齐特征，得到第三对齐特征。

技术领域

本发明涉及信息技术领域，尤其涉及一种基于视频处理方法及装置、视频设备及存储介质。

背景技术

基于视频的物体检测时计算机视觉及智能视频分析中重要问题。例如，对行人、过往车辆进行视频采集，形成了包含多个图像帧的视频。

在相关技术中提供了多种对视频进行结构化分析及场景识别的方法。但是实践发现，现有的物体检测时，依然存在检测精确度低，达不到预期效果问题。

发明内容

有鉴于此，本发明实施例期望提供一种基于视频处理方法及装置、视频设备及存储介质。

本发明的技术方案是这样实现的：

一种基于视频处理方法，其特征在于，包括：

根据从视频的图像帧提取的第一类特征，进行像素级别的特征对齐获得第一对齐特征；

根据从所述视频的图像帧提取的第二类特征，进行实例级别的特征对齐得到第二对齐特征；

融合所述第一对齐特征和所述第二对齐特征，得到第三对齐特征。

基于上述方案，所述根据从视频的图像帧提取的第一类特征，进行像素级别的特征对齐获得第一对齐特征，包括：

根据第一像素特征和第二像素特征，生成第一待对齐特征；其中，所述第一像素特征为：从第m-1个图像帧提取的像素特征；所述第二像素特征为：从第m个图像帧中提取的像素特征；m为正整数；

根据所述第二像素特征和第三像素特征，生成第二待对齐特征，其中，所述第三像素特征为：从第m个图像帧提取的像素特征；

融合所述第一待对齐特征和所述第二待对齐特征，得到所述第一对齐特征。

基于上述方案，所述根据从所述视频的图像帧提取的第二类特征，进行实例级别的特征对齐得到第二对齐特征，包括：

结合所述第一类特征和所述第二类特征，进行实例级别的同一个目标的特征对齐得到所述第二对齐特征。

基于上述方案，所述结合所述第一类特征和所述第二类特征，进行实例级别的同一个目标的特征对齐得到所述第二对齐特征，包括：

结合第一区域特征、第一像素特征及第二像素特征，得到第三待对齐特征；所述第一像素特征为所述第一类特征，是从第m-1个图像帧提取的像素特征；所述第二像素特征为所述第一类特征，是从第m个图像帧提取的像素特征；所述第一区域特征为所述第二类特征，是从第m个图像帧提取的候选区域特征；

结合第二区域特征、所述第二像素特征及第三像素特征，得到第四待对齐特征，其中，所述第二区域特征为所述第二类特征，是从第m+1个图像帧提取的候选区域特征；所述第三像素特征为所述第一类特征，是从第m+1个图像帧提取的像素特征

根据所述第三待对齐特征及所述第四待对齐特征，得到所述第二对齐特征。

基于上述方案，所述方法还包括：

确定融合模式的模型参数；

所述融合所述第一对齐特征和所述第二对齐特征，得到第三对齐特征，包括：

根据所述模型参数，融合所述第一对齐特征和所述第二对齐特征得到所述第三对齐特征。

基于上述方案，所述确定融合模式，包括：