[发明专利]视频行为分割方法、装置、计算机设备及介质

说明书

本申请公开了一种视频行为分割方法、装置、计算机设备及介质。该方法包括：基于视频中相邻的视频帧之间的相关系数，将所述视频分割成片段；对于所述片段中的视频帧，识别该视频帧的场景，得到场景特征向量；对于所述片段中的视频帧，识别该视频帧的局部行为特征，得到局部行为特征向量；基于所述场景特征向量和所述局部行为特征向量，识别所述视频帧的行为类别和与该行为类别对应的置信度；基于所述片段的视频帧的行为类别和置信度，确定该片段的行为类别；和将相邻的行为类别相同的片段合并，得到所述视频的分割结果。该方法能够同时对双路模型进行融合，综合利用场景和局部行为两个维度，对整体行为信息进行提取，从而快速地对视频进行分割。

技术领域

本申请涉及图像自动化处理领域，特别是涉及一种视频行为分割方法、装置、计算机设备及介质。

背景技术

视频压缩算法及应用的快速发展，带来了海量的视频数据。视频中蕴含了丰富的信息，然而，由于视频数据巨大，不像文字直接表示出了抽象概念，因此视频信息的提取及结构化相对复杂。目前，视频信息的提取方法主要是先对视频进行分割，然后给分割后的每个片段分类打上标签，是视频信息提取及结构化的一种思路。基于传统的计算机视觉对视频进行分割，一般需要人工设计图像特征，这样设计的特征不能灵活的适应各种场景的变化。目前大部分实际可用的视频分割仅仅根据每帧的颜色信息，经过各种传统计算机视觉的变换，检测相邻两帧的变化，从而确定视频分割点，然后继续利用机器学习中的聚类算法，对分割好的相邻的视频片段进行聚合，相似类别的会归为一类。然而，上述这些方法只能完成粗浅的分割，并且不能识别出视频中每个片段的语义。

发明内容

本申请的目的在于克服上述问题或者至少部分地解决或缓减解决上述问题。

根据本申请的一个方面，提供了一种视频分割方法，包括：

片段分割步骤：基于视频中相邻的视频帧之间的相关系数，将所述视频分割成片段；

场景识别步骤：对于所述片段中的视频帧，识别该视频帧的场景，得到场景特征向量；

局部行为特征识别步骤：对于所述片段中的视频帧，识别该视频帧的局部行为特征，得到局部行为特征向量；

视频帧行为类别判断步骤：基于所述场景特征向量和所述局部行为特征向量，识别所述视频帧的行为类别和与该行为类别对应的置信度；

片段行为类别确定步骤：基于所述片段的视频帧的行为类别和置信度，确定该片段的行为类别；

片段合并步骤：将相邻的行为类别相同的片段合并，得到所述视频的分割结果。

该方法能够同时对双路模型进行融合，综合利用场景和局部行为两个维度，对整体行为信息进行提取，从而快速地对视频进行分割。

可选地，所述片段分割步骤包括：

直方图计算步骤：计算所述视频的每一个视频帧的YCbCr直方图；

相关系数计算步骤：计算该视频帧的YCbCr直方图与前一个视频帧的YCbCr直方图的相关系数；

阈值比较步骤：在所述相关系数小于预定的第一阈值时，将该视频帧作为新的片段的起始帧。

可选地，所述场景识别步骤包括：

分辨率转化步骤：将所述视频帧的RGB通道分别转化为固定尺寸的分辨率；和

场景特征向量生成步骤：将经过分辨率转化后的视频帧输入到第一网络模型中，得到该视频帧的场景特征向量，其中，所述第一网络模型为：去掉最后一层全连接层和Softmax分类器的VGG16网络模型。

可选地，所述局部行为特征识别步骤包括：

最短边长固定步骤：将所述视频帧的RGB通道分别转化为最短边长固定的分辨率；和