[发明专利]基于LipNet算法的反欺诈方法及系统、电子设备

说明书

一种基于LipNet算法的反欺诈方法及系统、电子设备，所述方法包括：对于需要进行身份确认的场合，从圈定的N个语句中随机挑选出一条或多条供用户朗读，采集用户视频数据，输入LipNet算法模型中进行预测；若预测结果低于分类的阈值，则判断所述用户为机器人；其中，N为自然数。本发明通过采用LipNet算法，针对目前的模拟水平还无法根据语音模拟出对应的唇语，将其应用于反欺诈人脸识别阶段，加入圈定范围随机挑选的句子，用户即无法提前进行机器模仿动作，从而能防范有人利用高新技术手段进行伪冒的高危行为，提高人脸识别技术的安全度。

技术领域

本发明属于图像语音识别技术领域，尤其是机器学习辅助图像语音识别技术领域，更具体的是涉及一种基于LipNet算法的反欺诈方法及系统、电子设备和计算机存储介质。

背景技术

随着图像技术的发展，人脸识别技术应用范围越来越广，比如身份识别、人脸支付、现场监控等。人脸识别技术也在不断的进步，从最开始的仅是识别静态图像，到可以添加眨眼、张嘴、转头等补充动作增加破解难度，但是有一些新的技术手段对静态图像进行眨眼、张嘴等动作的逼真模仿，使得在反欺诈中的人脸识别阶段对是否机器人的防范措施有被突破的可能。这就迫切要求开发一种破解难度更高的人脸识别技术。

发明内容

有鉴于此，本发明的主要目的在于提出一种基于LipNet算法的反欺诈方法及系统、电子设备和计算机存储介质，以期至少部分地解决上述技术问题中的至少之一。

为了实现上述目的，作为本发明的第一方面，提供了一种基于LipNet 算法的反欺诈模型的生成方法，包括如下步骤：构建LipNet算法模型，所述LipNet算法模型采用3D卷积网络对输入视频的图像帧进行特征提取，然后使用两层双向GRU作为编码-解码结构，输出一个预测值，最后再用全连接层输出预测的概率；采用第一次处理好的语料样本对所述LipNet 算法模型进行训练，找出预测准确度最高且差异最大的N个句子，其中， N为自然数。

根据本发明的一种实施方式，所述LipNet算法模型的输入为T帧序列，所述T的取值为输入数据的最大序列长度L的2倍加1，即2L+1。

根据本发明的一种实施方式，所述LipNet算法模型包括3层时空卷积神经网络，每层后面是一个空间最大池化层。

根据本发明的一种实施方式，所述LipNet算法模型采用CTC损失函数进行训练。

根据本发明的一种实施方式，所述第一次处理好的语料样本一部分来源于新闻媒体，一部分来源于带有地域特征的普通话视频。

根据本发明的一种实施方式，所述第一次处理好的语料样本的筛选注重不同年龄段、不同性别及语句的重复度。

根据本发明的一种实施方式，所述生成方法还包括采用第二次处理好的语料样本对所述LipNet算法模型再次进行训练的步骤。

根据本发明的一种实施方式，所述第二次处理好的语料样本是基于第一轮训练出来的结果筛选出来的语句，进行有针对性的语料的再次收集；所述再次收集侧重于加大目标语句在语料中出现频次、年龄段、性别和地域的分布权重。

本发明的第二方面也提出一种基于LipNet算法的反欺诈方法，包括如下步骤：

对于需要进行身份确认的场合，从圈定的N个语句中随机挑选出一条或多条供用户朗读，采集用户视频数据，输入如上所述的LipNet算法模型中进行预测；若预测结果低于分类的阈值，则判断所述用户为机器人；其中，N为自然数。

根据本发明的一种实施方式，在采集用户视频数据时还同时采集用户声纹数据。

根据本发明的一种实施方式，将采集的声纹数据与系统存储的历史声纹数据进行匹配，确认是否为用户本人。