[发明专利]基于人工智能的视频分类方法、装置、设备和介质

说明书

公开了一种基于人工智能的视频分类方法、装置、设备以及存储介质。所述方法包括：确定所述视频的至少两种类型的视频特征，其中至少一种类型的视频特征具有语义信息，至少另一种类型的视频特征具有时序信息；根据所述视频的时序信息和语义信息之间的关联性融合所述至少两种类型的特征，以确定所述视频的整体特征；基于所述整体特征确定所述视频的分类结果。

技术领域

本申请涉及计算机视觉领域，具体涉及一种基于人工智能的视频分类方法、装置、设备和介质。

背景技术

视频识别是利用视频当中的视觉、音频信息对视频进行识别的一项技术，随着网络视频惊人的增长，自动视频识别技术得到了广泛的应用，例如短视频推荐系统、视频数据库管理和视频拷贝检测等。然而由于未修剪和未编辑的视频片段通常包含严重的相机运动和杂乱的背景，更重要的是视频内容的类内差异很大，给视频识别带来了很大的挑战。

发明内容

本申请的目的是提供一种图基于人工智能的视频分类方法、装置、设备和存储介质。

根据本申请的一个方面，提供了一种基于人工智能的视频分类方法，包括：确定所述视频的至少两种类型的视频特征，其中至少一种类型的视频特征具有语义信息，至少另一种类型的视频特征具有时序信息；根据所述视频的时序信息和语义信息之间的关联性融合所述至少两种类型的特征，以确定所述视频的整体特征；基于所述整体特征确定所述视频的分类结果。

在一些实施例中，确定所述视频的至少两种类型的视频特征包括：提取所述视频的至少一个关键帧；利用所述至少一个关键帧确定所述视频的第一视频特征、第二视频特征以及第三视频特征，其中所述第一视频特征具有所述视频的第一语义信息，所述第三视频特征具有所述视频的第二语义信息，所述第二视频特征具有所述视频的时序信息。

在一些实施例中，根据所述视频的时序信息和语义信息之间的关联性融合所述至少两种类型的特征，以确定所述视频的整体特征包括：确定所述第一视频特征和所述第二视频特征之间的第一关联性，并基于所述第一关联性确定第一融合视频特征，其中所述第一融合视频特征具有所述视频的第一语义信息和时序信息；确定所述第二视频特征和所述第三视频特征之间的第二关联性，并基于所述第二关联性确定第二融合视频特征，其中所述第二融合视频特征具有所述视频的第二语义信息和时序信息；基于所述第一融合视频特征和所述第二融合视频特征确定所述视频的整体特征，其中所述整体特征具有所述视频的第一语义信息、第二语义信息以及时序信息。

在一些实施例中，确定所述第一视频特征和所述第二视频特征之间的第一关联性包括：确定所述第一视频特征的第一注意力嵌入特征；确定所述第一注意力嵌入特征和所述第二视频特征之间的相关性作为所述第一视频特征和所述第二视频特征之间的第一关联性特征。

在一些实施例中，基于所述第一关联性确定第一融合视频特征包括：确定所述第一视频特征的第一语义嵌入特征；利用所述第一关联性特征对所述第一语义嵌入特征进行调整，以得到调整后的第一语义嵌入特征；通过残差连接对调整后的第一语义嵌入特征和所述第二视频特征进行融合，以确定所述第一融合视频特征。

在一些实施例中，利用所述至少一个关键帧确定所述视频的第一视频特征、第二视频特征以及第三视频特征包括：利用第一网络模型对所述至少一个关键帧进行处理以得到对应于每个关键帧的第一特征序列，对所述第一特征序列进行帧间聚合以得到所述第一视频特征；利用第二网络模型对所述至少一个关键帧进行处理以得到对应于所述视频的第二特征序列，对所述第二特征序列进行帧间聚合以得到所述第二视频特征；利用第三网络模型对所述至少一个关键帧进行处理以得到对应于每个关键帧的第三特征序列，对所述第三特征序列进行帧间聚合以得到所述第一视频特征。

在一些实施例中，对所述第一特征序列进行帧间聚合以得到所述第一视频特征包括：利用第一自注意力参数对所述第一特征序列进行调整，以得到所述第一视频特征。