[发明专利]居家老人姿态检测方法、系统、存储介质、设备及应用

权利要求书

1.一种居家老人姿态检测方法，其特征在于，所述居家老人姿态检测方法包括：

利用RealSense镜头采集老人居家环境数据，并将采集的数据发布在云端；下载云端数据进行深度图像解压得到伪彩色图像，并放入指定位置进行处理；

读取处理的相关图像，进行人体骨骼化识别得到人体3d骨架图；

基于人体骨骼化识别结果通过特征提取、姿态匹配，获取老人的具体姿态；

对得到的人体3d骨架图以及老人的具体姿态进行显示；并判断老人的同一姿态维持时间是否超出预设阈值，若超出，则进行报警提醒。

2.如权利要求1所述的居家老人姿态检测方法，其特征在于，所述读取处理的相关图像，进行人体骨骼化识别得到人体3d骨架图包括：基于处理的相关图像利用人体骨骼化识别模型进行识别，得到heatmap和paf变量，通过得到的heatmap和paf变量进行人体关节点连接，得到2d的人体关键点坐标；

结合深度图的深度信息以及相机内参，对得到的2d人体关键点坐标进行坐标变换，得到重建的3d坐标；对重建的3d坐标进行旋转即可得到的人体3D骨架图。

3.如权利要求1所述的居家老人姿态检测方法，其特征在于，所述读取处理的相关图像，进行人体骨骼化识别得到人体3d骨架图包括：

(1)读取处理后的相关图像，筛选图像中有老人存在的彩色图及其对应伪彩色图；并将筛选的相关数据作为训练集；

(2)利用openpose模型对彩色图进行识别，得到图像关键点标签以及heatmap和paf作为标签的图像数据；

(3)构建自下而上基于openpose网络的人体骨骼化识别模型，并利用训练集对构建的人体骨骼化识别模型进行训练，得到最优的人体骨骼化识别模型；

(4)利用测试集对最优的人体骨骼化识别模型进行测试，利用测试好的人体骨骼化识别模型进行人体骨骼化识别，得到人体骨骼关节点；

(5)对得到的人体骨骼关节点进行连接；同时基于得到关键点坐标以及深度信息结合摄像头内参获取三维关节点信息，并将人体骨架图的3d坐标进行旋转得到正向人体3d骨架图。

4.如权利要求2所述的居家老人姿态检测方法，其特征在于，步骤(5)中，所述将人体骨架图的3d坐标进行旋转包括：计算人体中臀和脖子之间的中点作为人体的中心点，将中心点平移到原点，围绕得到的原点进行旋转。

5.如权利要求4所述的居家老人姿态检测方法，其特征在于，所述围绕得到的原点进行旋转包括：将脊柱即中臀利用x轴逆时针旋转公式绕x轴转到x0z平面；将脊柱利用y轴逆时针旋转公式绕y轴进行旋转；将左右肩构成的向量利用z轴逆时针旋转公式旋转到y0z平面中；

所述x轴逆时针旋转公式如下：

所述y轴逆时针旋转公式如下：

所述z轴逆时针旋转公式如下：

6.如权利要求1所述的居家老人姿态检测方法，其特征在于，所述基于人体骨骼化识别结果通过特征提取、姿态匹配，获取老人的具体姿态包括：获取人体3D骨骼化坐标数据，并基于获取的人体3D骨骼化坐标数据进行特征计算；并将计算好的特征数据组成一个有序数组，利用基于随机森林的姿态识别模型进行人体姿态识别，得到姿态识别结果；

所述基于获取的人体3D骨骼化坐标数据进行特征计算包括：

基于获取的人体3D骨骼化坐标数据计算7种特征值；

所述7种特征值包括：

前屈角即脖子和鼻子组成的向量以及脖子和中臀组成的向量的夹角；

脖子和左臀、左臀和左膝盖组成的角以及脖子和右臀、右臀和右膝盖组成的角；

肩部角即脖子和左肩、左肩和左手肘组成的角以及脖子和右肩，右肩和右手肘组成的角；

膝盖角即右臀和右膝盖、右脚踝和右膝盖组成的角以及左臀和左膝盖、左脚踝和左膝盖组成的角。