[发明专利]一种图像和字幕融合的视频报幕板提取及视频切分方法

说明书

本发明公开了一种图像和字幕融合的视频报幕板提取及视频切分方法及系统首先利用Focus结构和CSP结构作为Backbone提取图像特征，再利用FPN和PAN结构作为检测的Neck对特征进行融合，最后利用GIOU_Loss函数进行视频中的报幕板检测工作，根据检测结果，利用Craft对报幕板检测框中文字进行检测，利用Crnn进行识别，利用Ner方式文本识别内容进行实体抽取，根据实体抽取内容和检测到的报幕板信息进行聚类，根据聚类结果，对视频中的各个节目完成切分工作。可以利用报幕板中包含的文本字幕信息配合报幕板检测框进行聚类，在时序的维度上对节目切分点进行确定，保证视频节目切分的准确性。

技术领域

本发明涉及视频处理技术领域，具体涉及一种基于图像和字幕融合的视频报幕板提取及视频切分方法。

背景技术

目前，人们获取信息的途径多种多样，其中，观看各类视频（如综艺、新闻、体育、电影、电视剧等）成为人们获取信息最直观、最生动的方式之一。但是，随着媒体技术的发展，网络及其他载体上存储的视频越来越多，且一些视频时间较长、信息容量较大，导致人们不易从海量视频中检索到目标视频，即使检索到目标视频，也会因某些视频容量较大，难以从中获取关键信息。因此，对视频的重要信息进行提取，以及对长视频的各个部分进行切分成为热门的研究方向，其中，对上述类型视频的报幕板信息进行识别是提取视频重要信息的基础。

传统的采用人工对视频报幕板的信息进行提取，再利用提取到的报幕板信息进行视频切分，此方式不但费时费力，而且单一地利用提取到的报幕板信息来对视频进行切分容易出现误识别和漏识别等问题，最终导致视频切分效果不理想。此外，通过人工方式提取的信息不可更新。

发明内容

本发明所要解决的技术问题是：传统的采用人工方式对视频报幕板信息进行提取，并单一地利用提取到的报幕板信息进行视频切分的方式效果不理想。目的在于，提供一种基于图像和字幕融合的视频报幕板提取及视频切分方法，解决传统的通过人工进行视频报幕板提取，并单一地利用提取的报幕板信息进行视频切分的方法，其效果不理想的问题。

本发明通过下述技术方案实现：一种图像和字幕融合的视频报幕板提取及视频切分方法，包括以下步骤：

步骤1：建立地标分类的自建数据集；地标分类的自建数据集包括带有地理标志字样的自建数据集；

步骤2：对所述自建数据集进行迭代训练，得到报幕板检测模型；

步骤3：获取待测视频，对所述待测视频按照每隔10帧解码一次的方式，将所述待测视频解码成为多张待测图片；

步骤4：利用所述报幕板检测模型对所述多张待测图片进行检测，得到多个报幕板信息和多个报幕板类别信息；

步骤5：根据所述多个报幕板信息提取多个报幕框，对单个报幕框进行文本检测，获取报幕框的多个整行文本框的位置信息，根据多个整行文本框的位置信息，获取单个报幕框的完整文本框；重复获取每一个报幕框的完整文本框，得到完整文本框信息集合；

步骤6：对所述完整文本框集合进行文本识别，得到文本内容数据集；

步骤7：根据所述完整文本框信息集合和所述文本内容数据集，分别对每个报幕板的文本内容进行实体提取，获取每个报幕框中的关键文本信息，得到关键文本信息数据集；所关键文本信息包括节目名称、演员名字和节目单位；

步骤8：利用所述多个报幕框和所述关键文本信息数据集进行文本聚类，得到文本聚类结果，根据所述文本聚类结果进行视频切分；

所述文本聚类的方法包括：

步骤8.1：获取所述多个报幕框在视频时序上的位置信息，建立位置信息数据集；

步骤8.2：根据所述位置信息数据集，筛选出位置连续的多个报幕框，并对筛选出的多个报幕框进行聚类操作，得到多个报幕框类，每一个报幕框类包括多个位置连续的报幕框；