[发明专利]基于时间一致性对比学习的动作规范性检测方法和装置

说明书

本发明涉及智能视频监控及深度学习领域，尤其涉及一种基于时间一致性对比学习的动作规范性检测方法和装置，该方法为：首先将第一数量标注和第二数量未标注的通过摄像头采集的视频构建数据集，第一数量小于第二数量；然后将未标注视频经过强弱数据增强后提取特征，再输入时间一致性行为对齐网络，输出特征图和不同样本间相似动作起始与结束帧集合，映射集合在特征图上对应子特征图，构造同类与不同类子特征图样本，送入对比学习网络提取时空判别性特征；再将第一数量标注视频送入预训练后的网络进行迁移学习，输出行为类别；最后通过帧间行为类别变化判断行为规范性，若不规范则发出预警。

技术领域

本发明涉及智能视频监控及深度学习领域，尤其涉及一种基于时间一致性对比学习的动作规范性检测方法和装置。

背景技术

医护人员始终走在抗击疫情的前线，保卫着广大人民群众的生命安全。防护装备是医护人员的重要保护屏障，可减少因暴露导致的高感染率，医护人员规范地穿脱防护服是预防感染的重要措施，若未按规范穿脱防护服存在高感染的风险。因此规范穿脱流程，能有效避免因个别人员感染导致整个团队被隔离的问题产生，从而降低非战斗减员。

不仅医护人员需遵守规范流程，在其他高感染风险作业领域人员均需要遵守消毒和个人防护装备规范流程，现有对动作流程规范性的约束多是靠人员培训及个人注意，存在高感染风险，亟需一种智能化监控手段实时监测人体行为，并判断行为动作流程是否符合规范性。

现有的行为识别方法分为两大类，基于有监督和无监督的方法，基于有监督的方法需要标注大量样本以提升识别的准确率，标注成本很高；基于无监督的方法不需要标注样本，但识别率低于有监督的方法。基于对比学习的方法属于无监督，该方法使用大量的无标注数据，采用自监督预训练模式，学习数据的先验知识分布，再在下游任务（图像分类/目标检测等）中进行迁移学习，以提升下游任务的性能。

对比学习通过假设来自同一个样本经过数据增强后的数据是同类，其他只要不是来自同一个样本的数据就是不同类，利用对比损失函数最大化同类间的相似性，最小化不同类间的相似性来学习特征。在相同标注数据下，对比学习加迁移学习在图像分类中已超越有监督的方法，显著减少了标注成本。但该假设应用于无剪切视频分类任务中，存在较大问题，当视频片段跨越两个或多个动作时，会使得算法难以学习到有区别性的特征，从而影响在下游任务中的识别精度。需改进算法使得具有相似动作但来自于不同样本的数据均应归为同类，具有不同动作的数据归为不同类。

发明内容

为了解决现有技术中存在的上述技术问题，本发明提出了一种低成本、高准确率的基于时间一致性对比学习的动作规范性检测方法和装置，其具体技术方案如下：

一种基于时间一致性对比学习的动作规范性检测方法，包括以下步骤：

步骤一，构建第一数量标注和第二数量未标注的摄像头采集视频的数据集，第一数量小于第二数量；

步骤二，对第二数量未标注视频数据进行强、弱增强处理，分别得到强、弱增强数据；

步骤三，将强、弱增强数据输入自编码特征提取网络中提取出强、弱增强数据的特征；

步骤四，将强、弱增强数据的特征输入时间一致性行为动作对齐网络，得到强、弱增强图像特征，后在由强、弱增强图像特征构成的图像特征序列对间查找相似动作最近邻帧并对齐，得到图像特征序列对间相似动作起始帧和结束帧集合；

步骤五，将强、弱增强图像特征和图像特征序列对间相似动作起始帧和结束帧集合输入时空判别性特征提取网络，结合对比学习网络，完成对第二数量未标注视频数据的自监督预训练；

步骤六，利用自监督预训练后的自编码特征提取网络参数，在自编码特征提取网络后加入分类网络，然后采用第一数量标注视频数据完成网络迁移学习，最后通过视频帧间行为类别的变化判断视频图像的动作规范性。

进一步的，所述步骤二具体为：