[发明专利]基于骨骼点的跌倒检测方法及其跌倒检测装置

说明书

本发明提供一种基于骨骼点的跌倒检测方法及其装置，所述方法包括：通过第一图片样本训练第一特征提取神经网络，所述第一特征提取神经网络用于提取表征人体上的关键骨骼点的多个第一特征点；将第二视频样本输入训练好的所述第一特征提取神经网络，得到表征所述第二视频样本中的人体的关键骨骼点的多个第二特征点；对所述多个第二特征点进行编码生成预测特征图；通过所述预测特征图训练第二行为分类神经网络，所述第二行为分类神经网络用于对所述预测特征图中表示的行为进行分类；将被监测对象的视频数据依次输入训练好的所述第一特征提取神经网络和所述第二行为分类神经网络，以输出所述被监测对象的行为类别。

技术领域

本发明涉及机器视觉深度学习技术领域，尤其涉及一种基于骨骼点的跌倒检测方法、装置、计算机设备及存储介质。

背景技术

随着我国进入老龄化社会，养老问题日趋严峻。老年人的各项身体机能指标下降，活动能力降低，特别是平衡力、反应能力和协同能力的不足可能造成意外跌倒情况发生。当老人发生跌倒后，如果没有获得及时的援助甚至可能因此在家中身亡。因此，家庭或者其他环境中针对老人的跌倒检测是计算机视觉和机器学习领域中一个很有意义的研究问题。

目前现有的跌倒检测主要有三种方法，分别为基于穿戴式设备的跌倒检测、基于深度摄像头的跌倒检测和基于普通摄像头的跌倒检测。其中基于穿戴式设备的方法必须时刻携带，给使用者带来很大不便，实际应用价值不大；基于深度摄像头的方法由于成本昂贵，实际推广难度大；而基于普通摄像头的方法成本便宜、使用方便，但对算法的要求较高。

由于普通摄像头能够覆盖各个地方，因此其硬件基础是成熟的。目前业内利用普通摄像头进行跌倒检测已经提出了很多方法。例如，直接利用图像序列的信息对跌倒行为进行分类，利用检测算法对人物的边框变化进行分类。但是目前跌倒检测的数据较少，场景单一，不能应用在各种实际场景中。对于利用图像序列的分类方法，由于数据少，不能够训练出优秀的网络。对于利用检测算法对人物边框分类的方法，利用了大量其他数据集的信息，能够有效检测到人，但是在利用边框信息分类的时候，由于边框信息有限，不能得到泛化性好的网络。

发明内容

本发明的目的是提供一种基于骨骼点的跌倒检测方法、装置、计算机设备及存储介质，用于解决现有技术存在的问题。

为实现上述目的，本发明提供一种基于骨骼点的跌倒检测方法，包括以下步骤：

通过第一图片样本训练第一特征提取神经网络，所述第一特征提取神经网络用于提取所述第一图片样本中的多个第一特征点，所述第一特征点表征人体上的关键骨骼点；

将第二视频样本输入训练好的所述第一特征提取神经网络，得到表征所述第二视频样本中的人体的关键骨骼点的多个第二特征点；

对所述多个第二特征点进行编码生成预测特征图；

通过所述预测特征图训练第二行为分类神经网络，所述第二行为分类神经网络用于对所述预测特征图中表示的行为进行分类；

将被监测对象的视频数据依次输入训练好的所述第一特征提取神经网络和所述第二行为分类神经网络，以输出所述被监测对象的行为类别。

进一步地，所述通过第一图片样本训练第一特征提取神经网络，包括：

所述第一图片样本输入Resnet残差网络，得到第一提取数据；

所述第一提取数据分别通过多个具有不同膨胀系数的卷积模块，得到多个具有不同特征通道的第二提取数据；

所述多个具有不同特征通道的第二提取数据组合后进入以残差卷积堆积起来的第一卷积层，得到多个具有不同感知野的第三提取数据；

对所述多个具有不同感知野的第三提取数据进行融合，然后进入以残差模块堆积起来的第二卷积层，最终输出表征人体上的关键骨骼点的多个第一特征点；