[发明专利]唇语数据集的增强方法、装置、计算机设备及存储介质

说明书

本发明提供一种唇语数据集的增强方法、装置、计算机设备及存储介质，所述方法包括以下步骤：获取多个不同志愿者录制的多个唇语视频，根据所述唇语视频生成字典表；根据所述字典表获取目标志愿者录制的第一唇语视频和第二唇语视频，用所述第一唇语视频中的第一唇语词替换所述第二唇语视频中的第二唇语词，以获得第三唇语视频；所述第一唇语词和所述第二唇语词不同；将所述第三唇语视频加入唇语数据集。本发明通过将不同唇语视频中的不同唇语词进行相互替换，扩增了唇语视频中所说句子内单词之间的组合，将原先少量唇语视频样本，组合爆炸式的扩增，能有效提升唇语识别模型的泛化能力。

技术领域

本发明涉及人工智能技术领域，特别涉及一种唇语数据集的增强方法、装置、计算机设备及存储介质。

背景技术

现有的唇语识别系统使用机器视觉技术，从视频帧中提取目标人物连续的口型变化特征，从而识别出所说自然语言语句。因此，唇语数据集的数量及质量好坏会直接影响唇语识别模型的性能。目前采集的唇语数据存在如下问题：(1)常见的公开数据集和业务指定的人群因为口音不同，往往不能直接拿来使用；(2)构建新的唇语数据集需要花费大量人力物力，而且采集唇语视频还涉及人脸隐私，志愿者配合意愿差，采集难度大；(3)单词连读对唇语识别提出了更高的要求，例如：“Would you”等。

为了对唇语视频数据进行数据增强，目前常用的方式包括左右翻转、变换光照、帧随机采样等，但根据上述这些方式所生成的唇语数据区别特征并不明显，无法模拟大量不同应用场景，也无法起到提高唇语识别模型性能的目的。

发明内容

本发明的目的是提供一种能够适应多种应用场景，有效提高唇语识别模型的训练样本数量及质量的技术方案，以解决现有技术中存在的上述问题。

为实现上述目的，本发明提供一种唇语数据集的增强方法，包括以下步骤：

获取多个不同志愿者录制的多个唇语视频，根据所述唇语视频生成字典表；所述字典表用于表征每个志愿者录制的唇语视频信息以及每个唇语视频中包含的唇语词信息；

根据所述字典表获取目标志愿者录制的第一唇语视频和第二唇语视频，用所述第一唇语视频中的第一唇语词替换所述第二唇语视频中的第二唇语词，以获得第三唇语视频；所述第一唇语词和所述第二唇语词不同；

将所述第三唇语视频加入唇语数据集。

根据本发明提供的唇语数据集的增强方法，所述获取多个不同志愿者录制的多个唇语视频，根据所述唇语视频生成字典表的步骤包括：

获取每个所述志愿者的身份标识信息、所述志愿者录制的每个唇语视频标识信息、所述志愿者发出的每个唇语词信息、每个唇语词在对应唇语视频中的帧数信息；

根据所述身份标识信息、所述唇语视频标识信息、所述唇语词信息和所述帧数信息构成一条字典项；

根据多条字典项生成所述字典表。

根据本发明提供的唇语数据集的增强方法，所述根据所述字典表获取目标志愿者录制的第一唇语视频和第二唇语视频，用所述第一唇语视频中的第一唇语词替换所述第二唇语视频中的第二唇语词，以获得第三唇语视频的步骤包括：

根据本发明提供的唇语数据集的增强方法，所述将所述第三唇语视频加入所述唇语数据集的步骤之后，还包括：

改变所述唇语视频中任一唇语词对应的唇型变化速率，以生成第四唇语视频；

将所述第四唇语视频加入所述唇语数据集。

根据本发明提供的唇语数据集的增强方法，所述改变所述唇语视频中任一唇语词对应的唇型变化速率，以生成第四唇语视频的步骤包括：

确定所述任一唇语词在所述处于视频中的第四帧数；