[发明专利]场景分割点判断方法、系统、存储介质及电子设备

说明书

本申请公开了一种场景分割点判断方法、系统、存储介质及电子设备，场景分割点判断方法包括：视频特征获取步骤：对视频进行划分获得多个所述视频等份，通过深度学习预训练模型对每个所述视频等份进行提取特征，获得对应每一所述视频等份的第一视频特征；模型处理步骤：将多个所述第一视频特征输入到基于注意力机制的视频场景分割点判断模型进行处理获得对应每一所述视频等份的分类概率；判断步骤:通过阈值对每个所述等份视频的分类概率进行判断确定场景分割点。本发明利用bert能够实现全局自主注意力机制，能够利用网络本身的比较强的注意力的能力实现场景分割。

技术领域

本发明属于场景分割点判断领域，具体涉及一种场景分割点判断方法、系统、存储介质及电子设备。

背景技术

基于事件检测的方法(Dence Boundary Generator)。但是此方法每个事件会有重叠的时间区域，而场景分割要求每个segment没有时间上的重叠。

发明内容

本申请实施例提供了一种场景分割点判断方法、系统、存储介质及电子设备，以至少解决现有的场景分割点判断方法分割事件时间区域重叠的问题。

本发明提供了一种场景分割点判断方法，其中，包括：

视频特征获取步骤：对视频进行划分获得多个视频等份，通过深度学习预训练模型对每个所述视频等份进行提取特征，获得对应每一所述视频等份的第一视频特征；

模型处理步骤：将多个所述第一视频特征输入到基于注意力机制的视频场景分割点判断模型进行处理获得对应每一所述视频等份的分类概率；

判断步骤:通过阈值对每个所述视频等份的分类概率进行判断确定场景分割点。

上述场景分割点判断方法，其中，所述视频特征获取步骤包括：

视频等份获得步骤：将所述视频按照时间分成多个所述视频等份；

获得视频特征维度步骤:使用所述深度学习预训练模型对每个所述视频等份进行特征提取，获得对应每个所述视频等份的所述第一视频特征。

上述场景分割点判断方法，其中，所述模型处理步骤包括：

样本视频等份获得步骤：将样本视频按照时间分成多个样本视频等份；

获得样本视频特征维度步骤:使用所述深度学习预训练模型对每个所述样本视频等份提取特征，获得对应每个所述样本视屏等份的第一样本特征；

模型构建步骤：构建所述分割点判断模型并通过所述第一样本特征对所述分割点判断模型进行训练；

分类概率获得步骤：根据所述第一视频特征通过训练后的所述分割点判断模型获得对应每一所述视频等份的分类概率。

上述场景分割点判断方法，其中，所述模型构建步骤包括：

分割点构建步骤：根据所述第一样本特征构造每一分场景分割点的第二样本特征；

第二样本特征处理步骤：搭建并通过bert网络层对所述第二样本特征进行处理获得第三样本特征；

预测步骤：搭建并通过Predictor网络对所述第三样本特征进行预测获得样本场景分割点；

约束步骤：通过分类损失函数和一致性正则化损失函数对所述样本场景分割点进行约束。

本发明还提供了一种场景分割点判断系统，其中，包括：

视频特征获取模块，所述视频特征获取模块对视频进行划分获得多个视频等份，通过深度学习预训练模型对每个所述视频等份进行提取特征，获得对应每一所述视频等份的第一视频特征；