[发明专利]一种基于图卷积神经网络的视角自适应多目标摔倒检测方法

权利要求书

1.一种基于图卷积神经网络的视角自适应多目标摔倒检测方法，其特征在于，包括以下步骤：

采用目标检测算法检测训练视频源中每一帧图像的人物，采用姿态估计算法提取训练视频源中每一帧图像的关键骨骼点数据，根据所提取的关键骨骼点数据作为训练集并进行预处理；

将预处理后的训练集输入视角自适应子网络中进行训练及视角调整，并根据视角调整后的关键骨骼点数据计算样本运动数据，将视角调整后的训练集和所述样本运动数据输入图卷积摔倒识别主网络中进行训练；

采用目标检测算法检测目标视频源中每一帧图像的人物目标，采用姿态估计算法提取每一帧图像中人物目标的关键骨骼点数据，当连续检测到同一人物目标的帧数大于预设的检测阈值时，将所提取的关键骨骼点数据输入完成训练的视角自适应子网络中，得到视角调整参数；

根据所述视角调整参数对所述关键骨骼点数据进行视角调整，再根据视角调整后的关键骨骼点数据计算运动数据，将所述视角调整后的关键骨骼点数据和所述运动数据输入完成训练的图卷积摔倒识别主网络进行摔倒检测，输出检测结果标签。

2.根据权利要求1所述的视角自适应多目标摔倒检测方法，其特征在于，对训练集进行预处理的步骤包括：对单帧图像的关键骨骼点数据逐一进行归一化处理，再对所有关键骨骼点数据进行平均归一化处理；对训练视频源中每一帧图像进行动作识别并标注标签，对所述标签进行平滑化处理；根据所述标签确定训练视频源中的动作衔接帧，以所述动作衔接帧作为交界取前8帧图像及后8帧图像进行前一动作递减以及后一动作递增处理，再乘以对应图像帧中所有关键骨骼点数据的平均值。

3.根据权利要求2所述的视角自适应多目标摔倒检测方法，其特征在于，所述关键骨骼点数据包括：鼻节点、左肩部节点、右肩部节点、左肘部节点、右肘部节点、左手腕节点、右手腕节点、左胯部节点、右胯部节点、左膝盖节点、右膝盖节点、左脚踝节点、右脚踝节点、胸节点，其中，胸节点利用左肩部节点和右肩部节点进行构建。

4.根据权利要求3所述的视角自适应多目标摔倒检测方法，其特征在于，采用目标检测算法检测视频源中每一帧图像的人物的步骤包括：

采用YOLOv5目标检测算法逐帧捕捉视频源中的人物；

若当前图像中检测到人物，采用姿态估计算法提取当前图像的关键骨骼点数据；

若当前图像中没有检测到人物，采用YOLOv3目标检测算法捕捉当前图像帧的人物，若当前图像中检测到人物，采用姿态估计算法提取当前图像的关键骨骼点数据，否则对下一帧图像进行检测。

5.根据权利要求4所述的视角自适应多目标摔倒检测方法，其特征在于，所述姿态估计算法包括ResNet152和/或ResNet50，以及SSTN网络；采用膨胀优化算法EDO对所述姿态估计算法网络中的ResNet152和ResNet50残差网络结构进行优化；所述SSTN网络对姿态估计算法中的检测框偏移值进行优化。

6.根据权利要求5所述的视角自适应多目标摔倒检测方法，其特征在于，还包括以下步骤：

采用以优化后的检测框作为输入的多目标跟踪算法捕捉检测人物目标，并设置人物目标对应的追踪ID；根据相邻两帧图像的检测框重合度IOU并结合检测框内图像特征，逐一判断相邻两帧图像目标的追踪ID是否一致：若是，则判定目标连续存在于相邻两帧图像；若否，则判定目标不连续存在于相邻两帧图像。

7.根据权利要求5所述的视角自适应多目标摔倒检测方法，其特征在于，还包括以下步骤：设置关节置信度阈值范围，扩大影响摔倒行为检测的胸节点、左肩膀、右肩膀、左胯部、右胯部的关节置信度，应用于姿态估计算法提取骨骼点数据。