[发明专利]基于时空域特征的狗拴绳识别方法、装置

说明书

本发明公开了一种基于时空域特征的狗拴绳识别方法，利用狗拴绳识别模型来识别视频中的狗是否拴绳，本发明从存在狗的视频片段提取拴绳遛狗所特有的时空域运动姿态特征，并据此对视频中的狗是否拴绳进行快速准确识别，并针对拴绳遛狗时空域运动姿态特征的提取，提出了一种可重参数化的三维卷积神经网络结合全局时域注意力特征提取模块的结构，兼具极高的识别精度和极高的识别效率。本发明还公开了一种基于时空域特征的狗拴绳识别装置。相比现有技术，本发明可对狗是否拴绳进行更高效更准确的识别。

技术领域

本发明属于机器视觉技术领域，具体涉及一种基于时空域特征的狗拴绳识别方法、装置。

背景技术

随着社会发展，越来越多人开始养狗作为宠物，随之而来的遛狗不牵绳等不文明行为也严重干扰了他人，为此，各地的法规以及近期出台的《中华人民共和国动物防疫法》均明确将此种行为列为违法行为。对于此种违法行为，如果采用传统的人力监控和劝阻方式，则需要耗费大量人力，实际上是不可行的。如果能够利用现有街道内的高空安防摄像头对非法遛狗的行为进行检测，不仅可以做到实时性的监控，还能节约人力、物力成本，而且设备维护与维修也很容易，因此这种基于监控视频的非法遛狗检测系统具有很好的应用和推广价值。

非法遛狗检测系统的核心是对视频图像中的狗是否拴绳进行快速准确识别。目前已有方法只是基于静态图片分析空域内的特征信息，空域内的特征主要是狗绳相关的特征，但是在监控视角下很多时候狗绳在图像中往往难以占有很多有效像素(距离远，被遮挡)。而人在遛狗的过程中，人和狗的行为变化多样，但同时又有着一些特定的规律，这些规律使得我们可以通过深度学习和计算机视觉技术去提取有代表性的运动姿态特征，例如，人无论动不动，狗始终以人为中心做类似于卫星的运动；还有狗可能会往某一个方向快速运动，然后束缚于狗绳突然停住（或减速）并伴随前半身向上翘起；还有一种情况是狗与人一起向某一个方向运动，同时人的手狗绳与狗在一条线上。这些特征使得人类可以在很远的距离分辨出遛狗是否拴绳。但是对于机器视觉而言，仅仅通过一张张静态图像在目标较小时很难获取有效的运动姿态特征，因为这些特征不仅需要空域内的信息同时也更加需要连续图像序列之间的特征信息。

发明内容

本发明所要解决的技术问题在于克服现有技术不足，提供一种基于时空域特征的狗拴绳识别方法，可高效准确地获取拴绳遛狗所特有的时空域运动姿态特征，并据此对视频中的狗是否拴绳进行快速准确的识别。

本发明具体采用以下技术方案解决上述技术问题：

一种基于时空域特征的狗拴绳识别方法，利用狗拴绳识别模型来识别视频中的狗是否拴绳，所述狗拴绳识别模型的输入为从有狗存在的视频片段中按以下方法所提取的图像序列：获取视频片段中首次出现狗的图片中以狗为中心的感兴趣区域，并依照所述感兴趣区域的位置从之后的多幅图片中分别截取相应的感兴趣区域，这一系列感兴趣区域的图像即构成所述图像序列；所述狗拴绳识别模型的输出为“狗已拴绳”与“狗未拴绳”这两个类别；所述狗拴绳识别模型包括前端用于提取局部时空域特征并降维的局部时空域特征提取模块和后端用于提取更长期全局特征的全局时域注意力特征提取模块，以及最后用于输出二分类结果的输出层；所述局部时空域特征提取模块由多组并行的可重参数化的三维卷积神经网络及其相应的三维池化及维度转换层构成，所述可重参数化的三维卷积神经网络由若干Rep 3D CNN模块串联组成；所述Rep 3D CNN模块的训练结构包含至少两层三维卷积层，每个三维卷积层后面都有一个批归一化层和激活函数层，模块中的每个三维卷积层都具有一个并行的卷积核为K1=1x1x1的三维卷积分支，且模块中除首个三维卷积层之外的每个三维卷积层还具有一个并行的恒等映射分支，每个三维卷积层的输出与其各分支的输出相加并经过激活层后输入下一层三维卷积层；所述Rep 3D CNN模块的预测结构通过对训练结构进行以下重参数化操作得到：将三维卷积层和批归一化层融合，并将1x1x1三维卷积分支和恒等映射分支合并到相应的三维卷积层。