[发明专利]多人同时人脸识别和动作识别验证的系统与方法

权利要求书

1.多人同时人脸识别和动作识别验证的系统，其特征在于：包括如下步骤：

S1：用户进入登录页面，开始使用系统,页面上会显示登录和注册按钮；

S2：需要验证的用户分别登录系统，系统检测每个用户是否已注册，如存在未注册用户，进入流程S2.1，用户进入注册页面，根据提示分别录入人脸信息和动作，并约定各个动作代表的含义，例如该用户设置竖起大拇指代表“同意”；

S3：系统可根据业务场景登录多人，已登录用户以列表形式展现，多用户分别登录后，点击下一步进入验证页面；

S4：摄像头开启，根据登录数量，通过图像识别技术识别人脸信息，并返回所有人脸位置，人脸的数量，几人面部大概位置提供脸部轮廓线，并提示用户将脸部放在轮廓线中；

S5：使用检测出的人脸数量，比对数量与登录人数是否一致，如果一致将图像暂存，如不一致进入流程S5.1：,系统提示用户无法成功识别，重新检测；

S6：把轮廓线的人脸进行裁剪，通过人脸识别技术判断脸部信息与各登录人是否一致，如果全部一致则进入下一步，如果不一致退回登录页面，由用户检查登录人信息是否正确；

S7：在屏幕上以文字形式提示用户做出对应动作(如同意、拒绝等)，录制客户动作视频，并采集动作信息，保存视频至文件服务器，待进行动作比对,并将该次验证记录留存；

S8：根据注册时的记录读取注册阶段所存储的动作含义列表,由动作识别技术判断每个用户是否做出正确动作，如全部符合注册记录，此次验证通过，如果任一用户所做动作不符合注册记录，系统提示验证失败(注：动作识别技术为现有技术，例如算法：openposeplus)；

S9：根据业务需要跳转至S4或结束验证。

2.根据权利要求1所述的多人同时人脸识别和动作识别验证方法，其特征在于：所述多人同时人脸识别和动作识别验证方法包括动作识别和人脸识别。

3.根据权利要求2所述的多人同时人脸识别和动作识别验证方法，其特征在于：所述动作识别算法包括如下步骤；

(1)、提取视频中每帧人体关节点位置坐标：

(2)、利用Open-pose方法对视频中每帧人体进行姿态估计，得到人体脖子、胸部、头部、右肩、左肩、右臀部、左臀部、右手肘、左手肘、右膝盖、左膝盖、右手腕、左手腕、右脚踝和左脚踝这15个关节点的位置坐标，其中第k个关节点的坐标表示为Lk＝(xk,yk)，k从1到15；

(3)、对每个关节点的位置坐标进行归一化；

(4)、用归一化之后的15个关节点位置坐标构成坐标矩阵P，P＝[(x1,y1),(x2,y2),...,(xk,yk),...,(x15,y15)],其中(xk,yk)表示第k个关节点归一化之后的坐标；

(5)、计算相邻两帧人体关节点距离变化量矩阵；

(6)、根据相邻两帧的坐标矩阵Pn和Pn-1，计算相邻两帧关节点位置坐标变化量矩阵；

(7)、根据关节点位置坐标变化量矩阵计算关节点距离变化量矩阵D；

(8)、生成视频特征；

(9)、按照视频的时间长度将视频平均分成4段，将每一段视频中相邻两帧产生的距离变化量矩阵D相加，得到各段累计距离变化量矩阵Di，i从1到4；

(10)、对Di进行L2归一化，得到归一化之后的Di'；

(11)、将累计距离变化量矩阵Di'串联起来作为整个视频的特征；

F＝[D1',D2',D3',D4']；

(12)、训练分类器对视频进行分类；

(13)、把sub-JHMDB数据集的视频分成训练集和测试集两部分，将训练集视频的特征输入到支持向量机中进行训练，得到训练好的支持向量机；

(14)、把测试集视频的特征输入到训练好的支持向量机中得到分类结果。