[发明专利]视频处理方法、装置及计算机可读存储介质

说明书

本发明公开了一种视频处理方法、装置及计算机可读存储介质。其中，该方法包括：接收待处理视频，并对待处理视频进行特征提取，以得到待处理视频的初始视频特征和初始音频特征；通过初始音频特征确定多个维度上的权重参数，并基于第一注意力模块利用多个维度上的权重参数对初始视频特征进行增强处理，以得到增强的视频特征；基于增强的视频特征预测待处理视频中的视听事件。本发明解决了相关技术中粗粒度的视频检测方法，导致视频中视听事件检测不准确的技术问题。

技术领域

本发明涉及视频处理技术领域，具体而言，涉及一种视频处理方法、装置及计算机可读存储介质。

背景技术

人类感知系统能够融合视觉和听觉信息，以实现对现实世界中的视听事件的理解。传统的视频检测技术局限于视觉方法而忽略其他感知方法，无法准确对视听事件进行检测。相关技术中，通过多模态事件检测算法对音频与视频特征进行融合，可以实现对视频中视听事件的检测，然而现有的多模态事件检测算法采用粗粒度的特征融合方式，比如，音频特征仅仅在单一维度上参与引导视频特征，导致视频中视听事件检测不准确。

针对上述相关技术中粗粒度的视频检测方法，导致视频中视听事件检测不准确的问题，目前尚未提出有效的解决方案。

发明内容

本发明实施例提供了一种视频处理方法、装置及计算机可读存储介质，以至少解决相关技术中粗粒度的视频检测方法，导致视频中视听事件检测不准确的技术问题。

根据本发明实施例的一个方面，提供了一种视频处理方法，包括：接收待处理视频，并对待处理视频进行特征提取，以得到待处理视频的初始视频特征和初始音频特征；通过初始音频特征确定多个维度上的权重参数，并基于第一注意力模块利用多个维度上的权重参数对初始视频特征进行增强处理，以得到增强的视频特征；基于增强的视频特征预测待处理视频中的视听事件。

根据本发明实施例的一个方面，提供了一种视频处理方法，包括：获取直播过程中采集到的待处理的直播视频；采用目标检测模型直播视频进行分类检测，得到直播视频中视听事件的预测结果；基于预测结果对直播视频增加标签信息，其中，目标检测检测模型用于对直播视频进行特征提取，以得到直播视频的初始视频特征和初始音频特征；通过初始音频特征确定多个维度上的权重参数，并基于第一注意力模块利用多个维度上的权重参数对初始视频特征进行增强处理，以得到增强的视频特征；基于增强的视频特征预测视听事件。

根据本发明实施例的另一方面，还提供了一种视频处理装置，包括：接收模块，用于接收待处理视频，并对待处理视频进行特征提取，得到待处理视频的初始视频特征和初始音频特征；增强模块，用于通过初始音频特征确定多个维度上的权重参数，并基于第一注意力模块利用多个维度上的权重参数对初始视频特征进行增强处理，得到增强的视频特征；预测模块，用于基于增强的视频特征预测待处理视频中的视听事件。

根据本发明实施例的另一方面，还提供了一种计算机可读存储介质，计算机可读存储介质包括存储的程序，其中，在程序运行时控制计算机可读存储介质所在设备执行上述任意一项的方法。

根据本发明实施例的另一方面，还提供了一种计算机程序，计算机程序运行时执行上述任意一项的方法。

根据本发明实施例的另一方面，还提供了一种视频的处理系统，包括：处理器；以及存储器，与处理器连接，用于为处理器提供处理以下处理步骤的指令：接收待处理视频，并对待处理视频进行特征提取，以得到待处理视频的初始视频特征和初始音频特征；通过初始音频特征确定多个维度上的权重参数，并基于第一注意力模块利用多个维度上的权重参数对初始视频特征进行增强处理，以得到增强的视频特征；基于增强的视频特征预测待处理视频中的视听事件。