[发明专利]一种活体检测方法、装置及存储介质

权利要求书

1.一种活体检测方法，其特征在于，包括：

获取待检测对象的第一视频文件中的所述待检测对象的唇部区域的图像帧数据和所述待检测对象的音频特征数据；

基于所述图像帧数据和所述音频特征数据，采用预设特征融合模型确定目标帧序位置；其中，所述目标帧序位置用于表征所述图像帧数据中存在唇语的图像帧的目标起始帧序位置和/或目标结束帧序位置；

基于所述目标帧序位置对所述图像帧数据进行截取，获得目标图像帧数据；其中，所述目标图像帧数据包括所述图像帧数据中存在唇语的图像帧；

对所述目标图像帧数据进行唇语识别，获得第一识别结果，以及对所述音频特征数据进行音频识别，获得第二识别结果；

基于所述第一识别结果和第二识别结果，对所述待检测对象进行活体检测；

所述基于所述图像帧数据和所述音频特征数据，采用预设特征融合模型确定目标帧序位置，包括：

基于所述待检测对象的唇语特征数据和语音特征数据，采用所述预设特征融合模型中的注意力机制，确定第一帧序位置和第二帧序位置；其中，所述第一帧序位置包括所述图像帧数据中存在唇语的图像帧的第一起始帧序位置和/或第一结束帧序位置，所述第二帧序位置包括所述音频特征数据对应的音频文件中存在语音的音频帧的第二起始帧序位置和/或第二结束帧序位置；

基于所述第一帧序位置和第二帧序位置，确定所述目标帧序位置；

其中，所述唇语特征数据是对所述图像帧数据进行特征提取得到的，所述语音特征数据是对所述音频特征数据进行特征提取得到的。

2.根据权利要求1所述的方法，其特征在于，所述基于所述目标帧序位置对所述图像帧数据进行截取，获得目标图像帧数据之前，所述方法还包括：

对所述图像帧数据进行特征提取，获得所述待检测对象的唇语特征数据，以及对所述音频特征数据进行特征提取，获得所述待检测对象的语音特征数据；

采用所述预设特征融合模型将所述唇语特征数据和语音特征数据进行融合，获得融合结果；

在所述融合结果与预设信息匹配成功的情况下，则执行所述基于所述目标帧序位置对所述图像帧数据进行截取，获得目标图像帧数据的步骤。

3.根据权利要求2所述的方法，其特征在于，所述第一帧序位置包括所述第一起始帧序位置和第一结束帧序位置，所述第二帧序位置包括所述第二起始帧序位置和第二结束帧序位置；

其中，所述基于所述第一帧序位置和第二帧序位置，确定所述目标帧序位置，包括：

将所述第一起始帧序位置和第二起始帧序位置中帧序小的起始帧序位置确定为所述目标起始帧序位置；以及将所述第一结束帧序位置和第二结束帧序位置中帧序大的结束帧序位置确定为所述目标结束帧序位置。

4.根据权利要求3所述的方法，其特征在于，所述基于所述唇语特征数据和语音特征数据，采用所述预设特征融合模型中的注意力机制，确定第一帧序位置和第二帧序位置，包括：

采用所述预设特征融合模型中的唇语特征编码器对所述唇语特征数据进行编码以获得编码后的唇语特征数据，并采用所述预设特征融合模型中的语音特征编码器对所述语音特征数据进行编码以获得编码后的语音特征数据；

提取所述图像帧数据的时间特征和所述语音特征数据中的时间信息，并采用所述预设特征融合模型中的注意力机制监测编码后的唇语特征数据和编码后的语音特征数据，以将编码后的唇语特征数据和编码后的语音特征数据进行时间对齐；

监测编码后的唇语特征数据以确定所述第一帧序位置，并监测编码后的语音特征数据以确定所述第二帧序位置；

其中，所述将所述第一起始帧序位置和第二起始帧序位置中帧序小的起始帧序位置确定为所述目标起始帧序位置；以及将所述第一结束帧序位置和第二结束帧序位置中帧序大的结束帧序位置确定为所述目标结束帧序位置的步骤之前，还包括：

采用所述预设特征融合模型中解码器融合所述第一帧序位置和第二帧序位置。