[发明专利]一种视频字幕时间对齐模型训练方法及系统

权利要求书

1.一种视频字幕时间对齐模型训练方法，其特征在于，所述方法包括：

获取带字幕的原始视频集以及描述文本集，其中，原始视频集中包括多个原始视频，每个原始视频对应所述描述文本集中的一个描述文本；所述原始视频中字幕的内容与所述描述文本集中对应的描述文本的内容相对应；

将原始视频集与对应的描述文本集依次通过公共子串算法进行匹配，确定出所述描述文本集中各个段落所对应的OCR识别结果；所述OCR识别结果用于表征原始视频集中字幕内容；

根据每段文本以及该段文本对应的OCR识别结果形成数据集，并对所述数据集进行标注得到训练集；

构建基于文本语义相似度匹配的视频字幕时间对齐模型，利用所述训练集对所述视频字幕时间对齐模型进行训练，得到训练完成的视频字幕时间对齐模型。

2.根据权利要求1所述的方法，其特征在于，利用所述训练集对所述视频字幕时间对齐模型进行训练，得到训练完成的视频字幕时间对齐模型，包括：

将每段文本和OCR识别结果分别输入到深度语言模型中进行处理后得到第一文本向量和第二文本向量；

将所述第一文本向量和所述第二文本向量进行拼接后输入到多层感知机后得到当前轮次的训练结果，并将当前轮次的训练结果与标注信息进行比对，根据比对结果调整模型参数，当模型输出结果与标注结果的差异小于预设阈值时得到训练完成的视频字幕时间对齐模型。

3.根据权利要求2所述的方法，其特征在于，所述深度语言模型至少包括BERT-chinese模型或ERNIE模型。

4.根据权利要求1所述的方法，其特征在于，将原始视频集与对应的描述文本集依次通过公共子串算法进行匹配，确定出所述描述文本集中各个段落所对应的OCR识别结果，包括：

获取原始视频以及对应的描述文本，所述描述文本的内容与所述原始视频中字幕的内容相对应；

根据预设的取帧间隔时间截取所述原始视频中的字幕区域得到字幕区域图像集，其中，所述字幕区域图像集包括在所述原始视频中对应的时间戳；

将所述字幕区域图像集输入到OCR识别模型进行OCR识别得到带有时间戳的OCR识别结果；

将所述OCR识别结果与所述描述文本每个段落通过公共子串算法进行匹配，确定出所述OCR识别结果在每个段落的首句和尾句；

根据所述每个段落的首句和尾句分别对应的时间戳确定所述描述文本各个段落在原始视频中的持续时间，并与所述带有时间戳的OCR识别结果进行匹配。

5.根据权利要求4所述的方法，其特征在于，将所述OCR识别结果与所述描述文本每个段落通过公共子串算法进行匹配，确定出所述OCR识别结果在每个段落的首句，包括：

将所述OCR识别结果与目标段落进行字符比较，找出所有连续的公共子串，选取其中的首子串，所述首子串用于表征第一个连续的公共子串；

当所述首子串在所述目标段落中的起始字符范围内时，将所述首子串对应的OCR识别结果与所述起始字符范围内的字符进行字符比较；

当字符比较得到的子串小于首句阈值时，则将当前字符比较得到的子串作为所述目标段落中的首句；

遍历所述描述文本的各个段落，确定出所述OCR识别结果在每个段落的首句。

6.根据权利要求5所述的方法，其特征在于，将所述OCR识别结果与目标段落进行字符比较，找出所有连续的公共子串，选取其中的首子串之后，还包括：

当所述首子串在所述目标段落中的结束字符范围内时，则将所述首子串对应的OCR识别结果的时间戳作为目标段落下一段的开始时间。