[发明专利]一种人体跌倒的检测方法、装置、存储介质及终端设备

说明书

本发明公开了一种人体跌倒的检测方法、装置、存储介质及终端设备，本发明通过接收视频数据；对所述视频数据中的所述待测人体进行骨架关节点提取，得到关节数据；将所述关节数据输入至预先训练好的第一跌倒识别模型中，得到第一跌倒概率矩阵；将所述视频数据输入至预先训练好的第二跌倒识别模型中，得到第二跌倒概率矩阵；对所第一跌倒概率矩阵和第二跌倒概率矩阵进行均值处理，得到所述待测人体的跌倒识别结果，能够融合视频图像数据的轮廓信息、色彩信息以及骨骼数据信息，使神经网络学习到丰富的动作特征，提高跌倒识别的准确率。

技术领域

本发明涉及健康监测技术领域，特别是涉及一种人体跌倒的检测方法、装置、存储介质及终端设备。

背景技术

跌倒严重威胁着老年人的健康和生命，提供自由、实时的安全监护对老年人的生活质量和生命保证有着重大的应用价值和研究意义。在文献《一种基于骨架序列的老年人摔倒动作识别方法研究》中提出了一种摔倒动作识别方法，该方法首先采用留出法将视频提取出的骨架数据集划分为两个互斥集合分别作为训练集和测试集，划分比例为4：1；再采用多次随机划分，重复试验之后取平均值作为评估结果；然后通过数据清理进行数据预处理，保存有效关节点数据；对摔倒过程进行分析，分别提取骨架空间特征与时序特征；最后分别加载训练数据与测试数据，在训练集上训练出模型后，在测试集上评估其测试误差，作为对泛化误差的近似，通过该方法训练好的模型可以有效识别摔倒动作。但是，基于骨骼数据的动作识别方法无法学习到图像数据中包含的轮廓和色彩信息，无法有效解决人物与场景交互一类的动作分类问题。

发明内容

本发明实施例的目的是提供一种人体跌倒的检测方法、装置、存储介质及终端设备，能够融合视频图像数据的轮廓信息、色彩信息以及骨骼数据信息，使神经网络学习到丰富的动作特征，提高跌倒识别的准确率。

为实现上述目的，本发明实施例提供了一种人体跌倒的检测方法，包括：

接收视频数据；其中，所述视频数据由多帧包含待测人体的图像组成；

对所述视频数据中的所述待测人体进行骨架关节点提取，得到关节数据；其中，所述关节数据包括每帧所述图像中的所述待测人体的关节点三维坐标数据；

将所述关节数据输入至预先训练好的第一跌倒识别模型中，得到第一跌倒概率矩阵；其中，所述第一跌倒识别模型为用于进行跌倒识别的时空图卷积网络；所述第一跌倒概率矩阵包括每帧所述图像对应的属于跌倒动作的第一概率；

将所述视频数据输入至预先训练好的第二跌倒识别模型中，得到第二跌倒概率矩阵；其中，所述第二跌倒识别模型为用于进行跌倒识别的图注意力网络；所述第二跌倒概率矩阵包括每帧所述图像对应的属于跌倒动作的第二概率；

对所第一跌倒概率矩阵和第二跌倒概率矩阵进行均值处理，得到所述待测人体的跌倒识别结果。

作为上述方案的改进，所述对所述视频数据中的所述待测人体进行骨架关节点提取，得到关节数据，具体为：

将所述视频数据输入至预先训练好的卷积神经网络中检测所述待测人体在每帧所述图像中的位置，得到每帧所述图像中包含所述待测人体的边界框；

将每帧所述图像的所述边界框中的人体图像输入至单人姿态预测网络中，提取每帧所述图像中的所述待测人体的骨架关节点，得到每帧所述图像的关节点二维坐标数据；

将每帧所述图像的关节点二维坐标数据输入至预先训练好的由卷积神经网络和时间卷积网络构成的网络模型中，得到每帧所述图像的关节点三维坐标数据；

对每帧所述图像的所述关节点三维坐标数据进行拟合，得到关节数据。

作为上述方案的改进，所述将每帧所述图像的所述边界框中的人体图像输入至单人姿态预测网络中，提取每帧所述图像中的所述待测人体的骨架关节点，得到每帧所述图像的关节点二维坐标数据，具体为：