[发明专利]唇语数据集的增强方法、装置、计算机设备及存储介质

权利要求书

1.一种唇语数据集的增强方法，其特征在于，包括以下步骤：

获取多个不同志愿者录制的多个唇语视频，根据所述唇语视频生成字典表；所述字典表用于表征每个志愿者录制的唇语视频信息以及每个唇语视频中包含的唇语词信息；

根据所述字典表获取目标志愿者录制的第一唇语视频和第二唇语视频，用所述第一唇语视频中的第一唇语词替换所述第二唇语视频中的第二唇语词，以获得第三唇语视频；所述第一唇语词和所述第二唇语词不同；

将所述第三唇语视频加入唇语数据集。

2.根据权利要求1所述的唇语数据集的增强方法，其特征在于，所述获取多个不同志愿者录制的多个唇语视频，根据所述唇语视频生成字典表的步骤包括：

获取每个所述志愿者的身份标识信息、所述志愿者录制的每个唇语视频标识信息、所述志愿者发出的每个唇语词信息、每个唇语词在对应唇语视频中的帧数信息；

根据所述身份标识信息、所述唇语视频标识信息、所述唇语词信息和所述帧数信息构成一条字典项；

根据多条字典项生成所述字典表。

3.根据权利要求1所述的唇语数据集的增强方法，其特征在于，所述根据所述字典表获取目标志愿者录制的第一唇语视频和第二唇语视频，用所述第一唇语视频中的第一唇语词替换所述第二唇语视频中的第二唇语词，以获得第三唇语视频的步骤包括：

根据所述字典表确定所述第一唇语词在所述第一唇语视频中的第一帧数；

确定所述目标志愿者所发出的不同于所述第一唇语词的所有候选唇语词；

从所述候选唇语词中任选一个作为所述第二唇语词，根据所述字典表确定所述第二唇语词在对应的第二唇语视频中的第二帧数；

用所述第二唇语视频中的第二帧数替换所述第一唇语视频中的第一帧数，以生成所述第三唇语视频。

4.根据权利要求1-3中任一项所述的唇语数据集的增强方法，其特征在于，所述将所述第三唇语视频加入所述唇语数据集的步骤之后，还包括：

改变所述唇语视频中任一唇语词对应的唇型变化速率，以生成第四唇语视频；

将所述第四唇语视频加入所述唇语数据集。

5.根据权利要求4中任一项所述的唇语数据集的增强方法，其特征在于，所述改变所述唇语视频中任一唇语词对应的唇型变化速率，以生成第四唇语视频的步骤包括：

确定所述任一唇语词在所述处于视频中的第四帧数；

获取所述唇语视频的当前播放帧率以及所述任一唇语词对应的唇型变化速率；

根据所述当前播放帧率和所述唇型变化速率确定所述任一唇语词对应的目标播放帧数；

根据所述目标播放帧数对所述第四帧数进行增加或删除以得到所述第四唇语视频。

6.根据权利要求5所述的唇语数据集的增强方法，其特征在于，在根据所述目标播放帧数对所述第四帧数进行增加的情况下，基于所述第四帧数进行差值计算以生成插值视频帧；所述插值视频帧是根据所述第四帧数中的前一视频帧和后一视频帧加权平均计算后得到的；

将所述插值视频帧插入所述第四帧数内的对应位置。

7.一种唇语识别模型的训练方法，其特征在于，利用权利要求1-6中任一项所述的唇语数据集的增强方法生成唇语数据集，以作为所述唇语识别模型的训练样本和测试样本。

8.一种唇语数据集的增强装置，其特征在于，包括：

视频获取模块，适用于获取多个不同志愿者录制的多个唇语视频，根据所述唇语视频生成字典表；所述字典表包含志愿者信息、唇语词信息以及对应的帧信息；

唇语词替换模块，适用于根据所述字典表，用目标志愿者在第一唇语视频中的第一唇语词替换所述目标志愿者在第二唇语视频中的第二唇语词，以获得第三唇语视频；所述第一唇语词和所述第二唇语词不同；

数据集模块，适用于将所述第三唇语视频加入所述唇语数据集。

9.一种计算机设备，包括存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至7任一项所述方法的步骤。

10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至7任一项所述方法的步骤。