[发明专利]用于获取信息的方法及装置

说明书

本申请实施例公开了用于获取信息的方法及装置。该方法的一具体实施方式包括：从获取的人脸视频中获取角度信息和初始嘴唇动作视频，上述角度信息用于表征上述人脸视频中人脸面向的角度；通过上述角度信息对上述初始嘴唇动作视频进行修正，得到修正嘴唇动作视频；将上述修正嘴唇动作视频导入预先训练的唇语识别模型，得到对应上述修正嘴唇动作视频的文字信息，上述唇语识别模型用于表征修正嘴唇动作视频与文字信息之间的对应关系。该实施方式提高了获取唇语对应的文字信息的准确性。

技术领域

本申请实施例涉及计算机技术领域，具体涉及用于获取信息的方法及装置。

背景技术

随着信息科技的发展，人们越来越多地通过电子设备进行信息交互。人们可以通过电子设备上信息交互应用的文字输入或语音输入等功能向信息接收方发送信息。例如，用户可以通过电子设备上的信息交互应用提供的虚拟键盘输入文字信息，并将该文字信息发送给信息接收方；或通过信息交互应用提供的语音输入功能输入语音信息，信息交互应用可以将该语音信息直接发送给信息接收方或将该语音信息转换为文字再发送给信息接收方。

发明内容

本申请实施例的目的在于提出了用于获取信息的方法及装置。

第一方面，本申请实施例提供了一种用于获取信息的方法，该方法包括：从获取的人脸视频中获取角度信息和初始嘴唇动作视频，上述角度信息用于表征上述人脸视频中人脸面向的角度；通过上述角度信息对上述初始嘴唇动作视频进行修正，得到修正嘴唇动作视频；将上述修正嘴唇动作视频导入预先训练的唇语识别模型，得到对应上述修正嘴唇动作视频的文字信息，上述唇语识别模型用于表征修正嘴唇动作视频与文字信息之间的对应关系。

在一些实施例中，上述通过上述角度信息对上述初始嘴唇动作视频进行修正，得到修正嘴唇动作视频，包括：对于上述初始嘴唇动作视频包含的每一帧图像，通过上述角度信息对该图像进行修正，得到对应该图像的修正图像；将修正图像组合起来得到修正嘴唇动作视频。

在一些实施例中，上述唇语识别模型包括卷积神经网络、循环神经网络和全连接层。

在一些实施例中，上述将上述修正嘴唇动作视频导入预先训练的唇语识别模型，得到对应上述修正嘴唇动作视频的文字信息，包括：将上述修正嘴唇动作视频输入至上述卷积神经网络，得到上述修正嘴唇动作视频的各帧图像的图像特征向量，其中，上述卷积神经网络用于表征视频与视频的各帧图像的图像特征向量之间的对应关系；将上述修正嘴唇动作视频的各帧图像的图像特征向量输入至上述循环神经网络，得到上述修正嘴唇动作视频的视频特征向量，其中，上述循环神经网络用于表征视频的各帧图像的图像特征向量与视频的视频特征向量之间的对应关系，视频的视频特征向量用于表征视频的各帧图像的图像特征向量之间的关联关系；将上述修正嘴唇动作视频的视频特征向量输入至上述全连接层，得到上述文字信息，其中，上述全连接层用于表征视频的视频特征向量与文字信息之间的对应关系。

在一些实施例中，上述唇语识别模型通过如下步骤训练得到：获取多个样本嘴唇动作视频和上述多个样本嘴唇动作视频中的每个样本嘴唇动作视频所对应的样本文字信息；将上述多个样本嘴唇动作视频中的每个样本嘴唇动作视频作为输入，将上述多个样本嘴唇动作视频中的每个样本嘴唇动作视频所对应的样本文字信息作为输出，训练得到上述唇语识别模型。

在一些实施例中，上述将上述多个样本嘴唇动作视频中的每个样本嘴唇动作视频作为输入，将上述多个样本嘴唇动作视频中的每个样本嘴唇动作视频所对应的样本文字信息作为输出，训练得到上述唇语识别模型，包括：执行以下训练步骤：将上述多个样本嘴唇动作视频中的每个样本嘴唇动作视频依次输入至初始唇语识别模型，得到上述多个样本嘴唇动作视频中的每个样本嘴唇动作视频所对应的预测文字信息；将上述多个样本嘴唇动作视频中的每个样本嘴唇动作视频所对应的预测文字信息与该样本嘴唇动作视频所对应的样本文字信息进行比较，得到上述初始唇语识别模型的识别准确率，确定上述识别准确率是否大于预设准确率阈值，若大于上述预设准确率阈值，则将上述初始唇语识别模型作为训练完成的唇语识别模型。