[发明专利]一种图像和字幕融合的视频报幕板提取及视频切分方法

权利要求书

1.一种图像和字幕融合的视频报幕板提取及视频切分方法，其特征在于，包括以下步骤：

步骤1：建立地标分类的自建数据集；地标分类的自建数据集包括带有地理标志字样的自建数据集；

步骤2：对所述自建数据集进行迭代训练，得到报幕板检测模型；

步骤3：获取待测视频，对所述待测视频按照每隔10帧解码一次的方式，将所述待测视频解码成为多张待测图片；

步骤4：利用所述报幕板检测模型对所述多张待测图片进行检测，得到多个报幕板信息和多个报幕板类别信息；

步骤5：根据所述多个报幕板信息提取多个报幕框，对单个报幕框进行文本检测，获取报幕框的多个整行文本框的位置信息，根据多个整行文本框的位置信息，获取单个报幕框的完整文本框；重复获取每一个报幕框的完整文本框，得到完整文本框信息集合；

步骤6：对所述完整文本框集合进行文本识别，得到文本内容数据集；

步骤7：根据所述完整文本框信息集合和所述文本内容数据集，分别对每个报幕板的文本内容进行实体提取，获取每个报幕框中的关键文本信息，得到关键文本信息数据集；所关键文本信息包括节目名称、演员名字和节目单位；

步骤8：利用所述多个报幕框和所述关键文本信息数据集进行文本聚类，得到文本聚类结果，根据所述文本聚类结果进行视频切分；

所述文本聚类的方法包括：

步骤8.1：获取所述多个报幕框在视频时序上的位置信息，建立位置信息数据集；

步骤8.2：根据所述位置信息数据集，筛选出位置连续的多个报幕框，并对筛选出的多个报幕框进行聚类操作，得到多个报幕框类，每一个报幕框类包括多个位置连续的报幕框；

步骤8.3：针对每一个报幕框类，获取每一个报幕框的时间信息，所述时间信息包括出现时间和消失时间；

步骤8.4：针对聚类后每一个报幕框，获取报幕框中的关键文本信息的出入点信息，将所述出入点信息与每一个报幕框的时间信息取交集，得到每一个报幕框出现的时间点信息；

步骤8.5：根据每一个报幕框出现的时间点信息确定每个视频的切分位置；根据每个视频的切分位置对视频进行切分。

2.根据权利要求1所述的一种图像和字幕融合的视频报幕板提取及视频切分方法，其特征在于，所述自建数据集的建立方法为：

步骤1.1：获取多个不同节目类型的带有地理标志字样的报幕板的样例视频，得到视频样本；

步骤1.2：针对所述视频样本中的每一个样例视频，按照每隔15帧解码一次的方式，将样例视频解码成为多张样例图片，形成图片样本；

步骤1.3：从所述图片样本中筛选出所有带有地理标志字样的报幕板的样例图片，形成报幕板图片样本；

步骤1.4：利用自建标记工具，采用COCO数据集的标准标注格式，对所述报幕板图片样本中每一张样例图片的报幕板进行标记，得到自建数据集。

3.根据权利要求2所述的一种图像和字幕融合的视频报幕板提取及视频切分方法，其特征在于，在所述步骤2之前，对所述自建数据集进行数据增强操作；所述数据增强操作包括：

S1：针对所述自建数据集中所有标记的样例图片，采用随机缩放、随机裁剪和随机排布的方式对标记的样例图片进行随机拼接，得到多张随机拼接图片；

S2：采用copy-paste的方式将所有标记的报幕板放入提前准备的数据集中，得到重组的自建数据集；

S3：对所述重组的自建数据集进行图片自适应缩放处理和黑白边缩小处理，得到增强的自建数据集。