[发明专利]用于获取信息的方法及装置

权利要求书

1.一种用于获取信息的方法，包括：

从获取的人脸视频中获取角度信息和初始嘴唇动作视频，所述角度信息用于表征所述人脸视频中人脸面向的角度，所述角度信息用于指示所述人脸视频中人脸非正对摄像头的程度；

通过所述角度信息对所述初始嘴唇动作视频进行修正，得到修正嘴唇动作视频，其中，所述修正嘴唇动作视频中包括与摄像头正对的嘴唇图像；

将所述修正嘴唇动作视频导入预先训练的唇语识别模型，得到对应所述修正嘴唇动作视频的文字信息，所述唇语识别模型用于表征修正嘴唇动作视频与文字信息之间的对应关系。

2.根据权利要求1所述的方法，其中，所述通过所述角度信息对所述初始嘴唇动作视频进行修正，得到修正嘴唇动作视频，包括：

对于所述初始嘴唇动作视频包含的每一帧图像，通过所述角度信息对该图像进行修正，得到对应该图像的修正图像；

将修正图像组合起来得到修正嘴唇动作视频。

3.根据权利要求1所述的方法，其中，所述唇语识别模型包括卷积神经网络、循环神经网络和全连接层。

4.根据权利要求3所述的方法，其中，所述将所述修正嘴唇动作视频导入预先训练的唇语识别模型，得到对应所述修正嘴唇动作视频的文字信息，包括：

将所述修正嘴唇动作视频输入至所述卷积神经网络，得到所述修正嘴唇动作视频的各帧图像的图像特征向量，其中，所述卷积神经网络用于表征视频与视频的各帧图像的图像特征向量之间的对应关系；

将所述修正嘴唇动作视频的各帧图像的图像特征向量输入至所述循环神经网络，得到所述修正嘴唇动作视频的视频特征向量，其中，所述循环神经网络用于表征视频的各帧图像的图像特征向量与视频的视频特征向量之间的对应关系，视频的视频特征向量用于表征视频的各帧图像的图像特征向量之间的关联关系；

将所述修正嘴唇动作视频的视频特征向量输入至所述全连接层，得到所述文字信息，其中，所述全连接层用于表征视频的视频特征向量与文字信息之间的对应关系。

5.根据权利要求1所述的方法，其中，所述唇语识别模型通过如下步骤训练得到：

获取多个样本嘴唇动作视频和所述多个样本嘴唇动作视频中的每个样本嘴唇动作视频所对应的样本文字信息；

将所述多个样本嘴唇动作视频中的每个样本嘴唇动作视频作为输入，将所述多个样本嘴唇动作视频中的每个样本嘴唇动作视频所对应的样本文字信息作为输出，训练得到所述唇语识别模型。

6.根据权利要求5所述的方法，其中，所述将所述多个样本嘴唇动作视频中的每个样本嘴唇动作视频作为输入，将所述多个样本嘴唇动作视频中的每个样本嘴唇动作视频所对应的样本文字信息作为输出，训练得到所述唇语识别模型，包括：

执行以下训练步骤：将所述多个样本嘴唇动作视频中的每个样本嘴唇动作视频依次输入至初始唇语识别模型，得到所述多个样本嘴唇动作视频中的每个样本嘴唇动作视频所对应的预测文字信息；将所述多个样本嘴唇动作视频中的每个样本嘴唇动作视频所对应的预测文字信息与该样本嘴唇动作视频所对应的样本文字信息进行比较，得到所述初始唇语识别模型的识别准确率，确定所述识别准确率是否大于预设准确率阈值，若大于所述预设准确率阈值，则将所述初始唇语识别模型作为训练完成的唇语识别模型。

7.根据权利要求6所述的方法，其中，所述将所述多个样本嘴唇动作视频中的每个样本嘴唇动作视频作为输入，将所述多个样本嘴唇动作视频中的每个样本嘴唇动作视频所对应的样本文字信息作为输出，训练得到所述唇语识别模型，包括：

响应于不大于所述预设准确率阈值，调整所述初始唇语识别模型的参数，并继续执行所述训练步骤。