[发明专利]一种新闻视频拆条方法和系统

说明书

本发明公开了一种新闻视频拆条方法和系统，所述方法包括：获取视频数据，对所述视频数据中的语音数据转化为语音文字，并对所述视频数据中的字幕转化为字幕文字；获取语音数据转化的语音文字对应的时间戳，以及获取字幕文字对应的时间戳；将视频数据根据语音文字按句进行切割生成视频片段，根据视频片段中的语音文字和字幕文字进行拼接，拼接后插入特殊字符CLS，进一步将包含CLS的整体文字特征输入到BERT模型中，输出视频片段的语义特征向量；根据语音文字对应的时间戳计算相邻语音文字句子之间的时间间隔，根据所述时间间隔构建one‑hot向量作为语音特征向量，将所述语音特征向量和所述语义特征向量拼接并输入到二分类模型中根据分类分数输出结果。

技术领域

本发明涉及新闻媒体技术领域，特别涉及一种新闻视频拆条方法和系统。

背景技术

新闻拆条的主要任务是针对某个新闻视频(如新闻联播、新闻30分、地方新闻播报等)，根据一定的业务逻辑对视频内容进行片段拆分，从而为后续的素材整理、内容分发提供数据基础。目前主要有两种技术方案：1)基于图像：根据镜头场景的转化进行视频拆分，如通过主持人静坐和播报新闻实况的镜头场景不同，进行切分判断。2)基于规则：根据固定字幕出现的位置、大小和时间等特征，对新闻切分点进行判断。现有技术存在如下缺陷：1、根据镜头场景的转化进行新闻片段切分，没有考虑新闻的语义信息，无法覆盖主持人一直静坐或画面连续切换等场景的新闻视频。2、利用规则进行新闻片段切分，通用性和可复用性差，人工成本高。

发明内容

本发明其中一个发明目的在于提供一种新闻视频拆条方法和系统，所述方法和系统同时利用自动语音识别技术ASR和文字识别技术OCR分别获取语音播报和视频字幕的对应文字和文字对应的时间戳，通过两种识别手段对新闻视频进行视频切分点的判断，从而可以有效地提高视频切分点准确率。

本发明其中一个发明目的在于提供一种新闻视频拆条方法和系统，所述方法和系统通过语音识别技术获取的文字和视频中字幕获取的文字进行拼接，输入到预训练模型BERT进行训练，生成具有联合特征的语义特征向量，所述语义特征向量可以避免单独视频切分因为主持人静坐或连续切换造成视频切条不准确现象。

本发明其中一个发明目的在于提供一种新闻视频拆条方法和系统，所述方法和系统通过将自动语音识别技术ASR时间差特征和具有联合特征的语义特征进行拼接，通过二分类模型判断是否存在新闻的结尾句，进一步执行新闻拆条，因此本发明涉及的新闻拆条不用考虑规则问题，适用性更好。

为了实现至少一个上述发明目的，本发明进一步提供一种新闻视频拆条方法，所述方法包括：

获取视频数据，对所述视频数据中的语音数据转化为语音文字，并对所述视频数据中的字幕转化为字幕文字；

获取语音数据转化的语音文字对应的时间戳，以及获取字幕文字对应的时间戳；

视频数据根据语音文字按句进行切割生成视频片段，根据视频片段中的语音文字和字幕文字进行拼接，拼接后插入特殊字符CLS，进一步将包含CLS的整体文字特征输入到BERT模型中，输出视频片段的语义特征向量；

根据语音文字对应的时间戳计算相邻语音文字句子之间的时间间隔，根据所述时间间隔构建one-hot向量作为语音特征向量，将所述语音特征向量和所述语义特征向量进行拼接；

将拼接后语音特征向量和所述语义特征向量输入到二分类模型中训练，最后根据分类分数输出结果。

根据本发明其中一个较佳实施例，采用ASR语音识别技术将视频数据中的语音数据转化为语音文字，并获取对应语音文字的时间戳，采用OCR文字识别技术识别视频字幕文字，并获取对应文字的时间戳。

根据本发明另一个较佳实施例，所述拆条方法还包括：将获取的语音文字按句进行切割，并根据切割的语音文字将对应的视频数据进行切割，生成对应的视频片段，获取切割后的视频片段的字幕文字，并将切割后的视频片段的字幕文字进行合并拼接。