[发明专利]一种面向协作行为检测和识别的方法及相关系统

说明书

本发明公开了一种面向协作行为检测和识别的方法及相关系统，该方法包括：选择需要进行协作行为检测的视频数据源；采用目标检测算法得到物体和人的检测框信息；采用多人姿态估计算法得到人对应的骨骼关键点数据；根据人体骨骼关键点数据、预定义的人和人交互行为公式，对人和人交互的协作行为进行检测；通过预定义的人和设备协作行为的计算公式，对人和设备交互的协作行为检测；根据用户的协作行为的协作置信度，计算协作行为的信息熵，得到两类协作行为识别的反馈结果。该方法可以有效地对协作场景中的人与人的交互行为以及人与设备交互的协作行为进行检测，并可将协作行为识别分析结果实时推送给协作成员，最终提高协同工作环境的办公效率。

技术领域

本发明涉及计算机视觉技术领域，尤其适用于一种面向协作行为检测和识别的方法及相关系统。

背景技术

人类行为识别(human Action Recognition，HAR)，即理解和识别人类行为，在许多实际应用中都是至关重要的。它可用于视觉监控系统识别危险的人类活动；也可用于自主导航系统，理解人类行为并与人类协同工作；此外，HAR在视频检索以及人机交互等方面也比较重要。通常，人类行为识别利用的数据模式纷繁多杂，按照模态不同分为视觉形态和传感器模态这两大类。这些数据模式对不同的信息源进行编码实现行为识别，并具有各自的优势和适用的应用场景。

虽然在一些常用的框架下，人体行为识别设计取得了巨大的成功，但在特定场景中的研究和应用，仍存在以下问题:

对于存在特定行为的协作场景这类复杂场景：协作场景下的人体行为识别仍然具有挑战性。比如在会议场景中，不仅包含人和人交互，还包括人和设备交互，对这两类交互行为的检测仍是一个相当有挑战性的任务；特定场景存在的多个目标的检测区域重叠的人体行为识别技术研究不够深入。会使现有的人体行为识别模型应用失效，造成人体姿态的不合理重建。

当前的大多数技术实现的群体行为识别也没有过多研究和实现。导致用户难以短时间内全面获取并且分析复杂场景的这些信息:协作场景在什么时刻，在干什么事情。然而分析协作场景中的人体姿态，对我们理解协作行为，了解协作场景中的人员活跃度，以及最终协作效率的有效提升有着及其重要的意义。

因此，如何对复杂协作场景中进行准确的人体行为识别，成为同行从业人员亟需解决的问题。

发明内容

本发明的目的在于提供一种至少部分解决上述技术问题的面向协作行为检测和识别的方法及相关系统。

为实现上述目的，本发明采取的技术方案为：

第一方面，本发明提供一种面向协作行为检测和识别的方法，包括以下步骤：选择需要进行协作行为检测的视频数据源；所述协作行为包括：人和设备的交互行为以及人与人的交互行为；

采用目标检测算法得到物体和人的检测框信息；

采用多人姿态估计算法得到人对应的骨骼关键点数据；

根据所述人体骨骼关键点数据、预定义的人和人交互行为公式，对人和人交互的协作行为进行检测；

通过预定义的人和设备协作行为的计算公式，对人和设备交互的协作行为检测；

根据用户的协作行为的协作置信度，计算协作行为的信息熵，得到两类协作行为识别的反馈结果。

进一步地，选择需要进行协作行为检测的视频数据源，包括：

采用预设方式获取协作场景中的视频数据；

对所述视频数据进行预处理，获得关键帧数据；

判断所述关键帧数据是否满足预设要求；

当满足预设要求时，输出符合预设要求的格式数据。

进一步地，选择需要进行协作行为检测的视频数据源，还包括：