[发明专利]基于机器视觉技术的多策略老人看护方法

权利要求书

1.基于机器视觉技术的多策略老人看护方法，其特征在于，包括以下步骤：

步骤1，人脸检测：采用MTCNN网络对场景中的人脸进行检测，具体实时步骤和功能如下：

a.利用MTCNN算法检测图像中的是否存在人脸；

b.当检测到人脸后，对人脸部分的图像进行切片，并通过检测到的人脸关键点对人脸进行对齐；

c.将对齐后的人脸进行人脸对比判断是否为需要被看护的对象；

d.当确认为是应被看护的对象是，其启动关键点检测模块及人体骨骼检测模块进行后续的智能分析；

步骤2，面部表情识别：

a.关键点检测模块被启动后，其对人脸位置进行关键点检测，并实时跟踪关键点；

b.面部动作识别，通过关键点的位置变化信息，对人脸的表情进行识别，当发现异常的面部表情时，其生成相应的信息，发送到客户端；

步骤3，肢体动作识别：

a.人体骨骼检测模块被启动后，其对人的骨骼关键点进行检测；

b.人体动作分析算法，根据骨骼关键点识别用户的相应动作，当检测到有异常的动作发生时，其生成相应的信息，发送到客户端；

异常动作特征设置如下：

a.长时间大口张嘴呼吸动作，发送报警信息到客户端；

b.长时间闭眼且无肢体动作，发送报警信息到客户端；

c.长时间闭眼且有轻微的肢体动作，发送提示信息到客户端；

d.长时间手捂胸口动作，发送报警信息到客户端；

e.突然跌倒动作，发送报警信息到客户端；

f.多次不高兴的面部表情，发送提示信息到客户端；

g.多次悲伤的面部表情，发送提示信息到客户端；

h.其它，默认不会产生动作。

2.如权利要求1所述基于机器视觉技术的多策略老人看护方法，其特征在于，所述人脸检测通过人脸检测模块实现，人脸检测算法有基于深度学习的检测算法，本模块采用的是MTCNN网络对人脸进行检测。

3.如权利要求1所述基于机器视觉技术的多策略老人看护方法，其特征在于，所述面部表情识别通过人脸关键点检测模块实现，当检测到人脸位置时，将人脸位置信息发到给人脸关键点检测模块，关键点检测模块将会循环检测人脸关键点的位置并对人脸位置进行实时跟踪，关键点检测采用深度学习的模型进行检测，同时为防止关键点抖动，深度模型在训练时，会采用跟踪的方式增加视频序列图像的训练数据，增强训练数据在时间位移上的关联性。

4.如权利要求1所述基于机器视觉技术的多策略老人看护方法，其特征在于，所述面部动作识别通过面部表情智能分析模块实现，面部表情智能分析模块根据关键点深度学习模型检测的关键点位置信息，对人的面部动作进行智能分析，当检测到异常时，将会生成相应的信息，推送到客户端。

5.如权利要求1所述基于机器视觉技术的多策略老人看护方法，其特征在于，所述肢体动作识别通过人体骨骼检测模块实现，当检测到人脸时，人脸检测模块触发人体骨骼检测模块利用LSTM结构的网络以1fps的速率对被看护人的骨骼姿态进行检测，当检测到人体骨骼出现异常时，将生成异常信息，并推送到客户端。