[发明专利]一种基于人体骨骼检测和跟踪算法的行为识别方法

说明书

本发明涉及一种基于人体骨骼检测和跟踪算法的行为识别方法，包括：S1、利用基于深度卷积神经网络的目标检测算法对输入图像中的手机和人物进行识别和定位；S2、利用基于卡尔曼滤波和匈牙利算法的多目标跟踪算法，融合前后图像帧的时空信息，对目标人物进行跟踪；S3、利用基于部件亲和度算法的轻量人体姿态估计算法检测图像中每个人的关节点坐标；S4、计算每个人的手腕与每部手机的中心距离，若距离小于阈值，计算对应手肘的弯曲角度；S5、若距离和角度均小于阈值，则增加当前人物的可疑指数，若可疑指数超过一定阈值，则认为当前人物正在玩手机；若超过一定帧数均未更新，则删除该目标。本发明具有运行速度快、行为识别准确、应用方便等优点。

技术领域

本发明涉及计算机视觉技术领域，尤其是涉及一种基于人体骨骼检测和跟踪算法的行为识别方法。

背景技术

人体行为识别是目前建造智慧楼宇或智能工厂的关键技术之一，使得人机交互、智能监控、视频检索等人工智能应用具有广泛的应用前景和研究意义。传统的简单行为识别方法大多仅包含单帧人体骨架信息，未有效融合人体周围物品目标和自身在时域上的持续情况。目前还没有一个完整的同时融合目标检测、人体姿态识别和目标跟踪且考虑时空信息的综合性方法，因此现有方法对于简单常见行为的识别存在大量误检的情况。

发明内容

本发明的目的就是为了克服上述现有技术存在的缺陷而提供一种基于人体骨骼检测和跟踪算法的行为识别方法。

本发明的目的可以通过以下技术方案来实现：

一种基于人体骨骼检测和跟踪算法的行为识别方法，该方法包括以下步骤：

步骤1：利用基于深度卷积神经网络的目标检测算法对输入图像中的手机和人物进行识别和定位，识别信息包括目标的中心点坐标、长宽高和类别；

步骤2：利用基于卡尔曼滤波和匈牙利算法的多目标跟踪算法，针对输入图像融合前后图像帧的时空信息，进一步对目标人物进行跟踪；

步骤3：利用自下向上的轻量人体姿态估计算法检测图像中关节点坐标，融合网络预测的热图和部件亲和度图，使用匈牙利算法来对图像中每个人的关节点进行连接和匹配；

步骤4：计算图像中每个人的手腕与每部手机的中心距离，若距离小于对应阈值，计算对应手肘的弯曲角度，若距离大于对应阈值，则认为没有玩手机；

步骤5：若距离和弯曲角度均小于对应阈值，则增加当前人物的可疑指数，若可疑指数超过对应阈值，则认为当前人物正在玩手机；反之，若可疑指数超过一段帧数后均未更新，则删除该可疑指数对应的人物目标。

进一步地，所述的步骤1中，目标检测算法采用单阶段模型，使用轻量网络作为骨干部分来提取图片特征，利用双向特征金字塔结构融合多尺度特征信息。

进一步地，所述的目标检测算法采用EfficientDet-D0算法，所述轻量网络采用EfficientNet网络。

进一步地，所述的步骤2具体包括：在步骤1目标检测的基础上，使用卡尔曼滤波实现状态预测，利用匈牙利算法来对上下帧中的多个目标进行匹配与连接，以实现目标跟踪。

进一步地，所述的步骤2中的多目标跟踪算法采用DeepSort算法，同时考虑运动信息的关联和目标外观信息的关联。

进一步地，所述的步骤3中的自下向上的轻量人体姿态估计算法采用以GhostNet作为骨干网络的单分支轻量OpenPose算法。

进一步地，所述的步骤4中，采用欧几里得距离对人体腕部和手机的距离进行描述，且若图像中存在多个手机，则每个手机只能与人体连接一次，即若当前手机已与单个人物相连，则下一次迭代时该手机不再参与计算。

进一步地，所述的步骤4中的手肘的弯曲角度，其计算公式为：