[发明专利]基于人工智能的视频分类方法、装置、设备和介质

权利要求书

1.一种基于人工智能的视频分类方法，包括：

确定所述视频的至少两种类型的视频特征，其中至少一种类型的视频特征具有语义信息，至少另一种类型的视频特征具有时序信息；

根据所述视频的时序信息和语义信息之间的关联性融合所述至少两种类型的特征，以确定所述视频的整体特征；

基于所述整体特征确定所述视频的分类结果，

其中，确定所述视频的至少两种类型的视频特征包括：

提取所述视频的至少一个关键帧；

利用所述至少一个关键帧确定所述视频的第一视频特征、第二视频特征以及第三视频特征，其中所述第一视频特征具有所述视频的第一语义信息，所述第三视频特征具有所述视频的第二语义信息，所述第二视频特征具有所述视频的时序信息，并且

其中，根据所述视频的时序信息和语义信息之间的关联性融合所述至少两种类型的特征，以确定所述视频的整体特征包括：

确定所述第一视频特征和所述第二视频特征之间的第一关联性，并基于所述第一关联性确定第一融合视频特征，其中所述第一融合视频特征具有所述视频的第一语义信息和时序信息；

确定所述第二视频特征和所述第三视频特征之间的第二关联性，并基于所述第二关联性确定第二融合视频特征，其中所述第二融合视频特征具有所述视频的第二语义信息和时序信息；

基于所述第一融合视频特征和所述第二融合视频特征确定所述视频的整体特征，其中所述整体特征具有所述视频的第一语义信息、第二语义信息以及时序信息。

2.如权利要求1所述的视频分类方法，其中，确定所述第一视频特征和所述第二视频特征之间的第一关联性包括：

确定所述第一视频特征的第一注意力嵌入特征；

确定所述第一注意力嵌入特征和所述第二视频特征之间的相关性作为所述第一视频特征和所述第二视频特征之间的第一关联性特征。

3.如权利要求2所述的视频分类方法，其中，基于所述第一关联性确定第一融合视频特征包括：

确定所述第一视频特征的第一语义嵌入特征；

利用所述第一关联性特征对所述第一语义嵌入特征进行调整，以得到调整后的第一语义嵌入特征；

通过残差连接对调整后的第一语义嵌入特征和所述第二视频特征进行融合，以确定所述第一融合视频特征。

4.如权利要求1-3任一项所述的视频分类方法，其中，利用所述至少一个关键帧确定所述视频的第一视频特征、第二视频特征以及第三视频特征包括：

利用第一网络模型对所述至少一个关键帧进行处理以得到对应于每个关键帧的第一特征序列，对所述第一特征序列进行帧间聚合以得到所述第一视频特征；

利用第二网络模型对所述至少一个关键帧进行处理以得到对应于所述视频的第二特征序列，对所述第二特征序列进行帧间聚合以得到所述第二视频特征；

利用第三网络模型对所述至少一个关键帧进行处理以得到对应于每个关键帧的第三特征序列，对所述第三特征序列进行帧间聚合以得到所述第一视频特征。

5.如权利要求4所述的视频分类方法，其中，对所述第一特征序列进行帧间聚合以得到所述第一视频特征包括：

利用第一自注意力参数对所述第一特征序列进行调整，以得到所述第一视频特征。

6.如权利要求4所述的视频分类方法，其中，

所述第一网络模型是VGG16网络，所述第一视频特征是场景特征，所述场景特征具有所述视频的场景语义；

所述第二网络模型是I3D网络，所述第二视频特征是运动特征，所述运动特征具有所述视频的时序信息；以及

所述第三网络模型是ResNET101网络，所述第三视频特征是物体特征，所述物体特征具有所述视频的物体语义。

7.如权利要求1所述的视频分类方法，其中，基于所述第一融合视频特征和所述第二融合视频特征确定所述视频的整体特征包括：

拼接所述第一融合视频特征和所述第二融合视频特征，以确定所述整体特征。