[发明专利]视频处理方法、装置及计算机可读存储介质

权利要求书

1.一种视频处理方法，其特征在于，包括：

接收待处理视频，并对所述待处理视频进行特征提取，以得到所述待处理视频的初始视频特征和初始音频特征；

通过所述初始音频特征确定多个维度上的权重参数，并基于第一注意力模块利用多个维度上的权重参数对所述初始视频特征进行增强处理，以得到增强的视频特征；

基于所述增强的视频特征预测所述待处理视频中的视听事件。

2.根据权利要求1所述的视频处理方法，其特征在于，在基于所述增强的视频特征预测所述待处理视频中的视听事件之后，所述方法还包括：

输出所述视听事件的预测结果，其中，所述预测结果包括所述待处理视频中是否存在所述视听事件、所述视听事件所在的视频片段以及所述视听事件的类别中的任意一种或者多种。

3.根据权利要求1所述的视频处理方法，其特征在于，所述多个维度上的权重参数包括第一维度注意力权重参数、第二维度注意力权重参数和第三维度注意力权重参数，基于第一注意力模块利用多个维度上的权重参数对所述初始视频特征进行增强处理，包括：

使用所述第一维度注意力权重参数对所述初始视频特征进行增强，得到第一维度视频特征；

基于所述第二维度注意力权重参数和所述第三维度注意力权重参数，得到第二维度注意力特征映射权重，其中，所述第二维度注意力权重参数通过在第二维度上对所述初始音频特征和所述第一维度视频特征进行融合得到，所述第三维度注意力权重参数通过在第三维度上对所述初始音频特征和所述第一维度视频特征进行融合得到；

使用所述第二维度注意力特征映射权重，更新所述第一维度视频特征，得到所述增强的视频特征。

4.根据权利要求1所述的视频处理方法，其特征在于，基于所述增强的视频特征预测所述待处理视频中的视听事件,包括:

将所述初始音频特征和所述增强的视频特征分别输入自注意力模块，得到自注意力音频特征和自注意力视频特征；

将所述初始音频特征和所述自注意力视频特征输入第二注意力模块，得到交叉注意力的音频特征，以及将所述增强的视频特征和所述自注意力音频特征输入所述第二注意力模块，得到交叉注意力的视频特征；

将所述交叉注意力的音频特征和所述交叉注意力的视频特征进行融合，得到融合特征；

基于所述融合特征预测所述视听事件。

5.根据权利要求4所述的视频处理方法，其特征在于，将所述初始音频特征和所述自注意力视频特征输入第二注意力模块，得到交叉注意力的音频特征，以及将所述增强的视频特征和所述自注意力音频特征输入所述第二注意力模块，得到交叉注意力的视频特征，包括：

基于所述第二注意力模块，对所述初始音频特征和所述自注意力视频特征进行分组加权平均处理，得到所述交叉注意力的音频特征；

基于所述第二注意力模块，对所述增强的视频特征和所述自注意力音频特征进行分组加权平均处理，得到所述交叉注意力的视频特征。

6.根据权利要求4所述的视频处理方法，其特征在于，所述方法还包括：

获取待训练模型，其中，所述待训练模型用于基于所述融合特征预测所述视听事件；

基于所述融合特征确定第一分类损失函数；

基于所述自注意力视频特征确定第二分类损失函数；

根据所述第一分类损失函数和所述第二分类损失函数对所述待训练模型进行优化。

7.根据权利要求6所述的视频处理方法，其特征在于，所述方法还包括：

基于所述融合特征确定预测损失函数；

根据所述预测损失函数、所述第一分类损失函数和所述第二分类损失函数对所述待训练模型进行优化。