[发明专利]一种基于时空上下文的昆虫行为识别方法及装置

说明书

本发明涉及昆虫行为识别技术领域，公开了一种基于时空上下文的昆虫行为识别方法、装置以及计算机存储介质，包括以下步骤：获取昆虫行为视频，获取所述昆虫行为视频中经人工标注后的原始图像；从原始图像中提取目标昆虫所在区域得到昆虫图像，将原始图像转换成灰度图像；通过时间窗口从昆虫图像中生成空间图像，通过时间窗口从灰度图像中生成时间图像；根据空间图像以及时间图像生成特征图像，对特征图像中的昆虫行为进行标注，并按行为分类；以分类后的特征图像作为训练样本对神经网络进行训练，得到昆虫行为识别模型；通过昆虫行为识别模型对待测视频中昆虫行为进行识别。本发明具有昆虫行为识别准确度高、训练数据获取简单的技术效果。

技术领域

本发明涉及昆虫行为识别技术领域，具体涉及一种基于时空上下文的昆虫行为识别方法、装置以及计算机存储介质。

背景技术

随着近年来计算机视觉技术的快速发展，利用计算机处理与分析各行各业中的视频数据以减轻人工劳动已成为必然趋势。但是在农业昆虫行为分析领域，我们了解到大部分的研究人员仍然在使用人工观察、统计的方式，不仅效率偏低，而且在长时间观察的情况下人员疲劳的增加导致的统计错误问题也会渐渐增多。所以，研发出一个能够快速、准确识别昆虫当前行为的技术具有十分重大的实用意义，让研究人员能够将时间与精力更多地投入到数据的获取与数据的分析过程中，从而提高整个实验的研究质量。

目前，基于计算机视觉的人体行为检测方法已经取得了一定的成果，例如openpose、MaskRCNN等；在动物姿态跟踪领域上，也有例如deeplabcut这种比较知名的框架，这些方法对人体以及较大动物的目标关键点的跟踪与检测效果都比较理想。但应用到昆虫的行为识别上时却不够理想，首先是精度不理想，昆虫体积小、肢体细、运动快，且有时还会出现肢体部位互相遮挡的情况，加上拍摄视频时所使用的录像设备也较为常规，这些在人体以及其它动物行为检测中不会出现的问题在昆虫行为识别过程中便成为了很大的阻碍，导致关键点的识别失真率较高；其次是不能直接给出昆虫当前动作的行为名称，这些方法只能给出检测关键点的坐标并标识，但却不能根据这些信息来得出昆虫当前的行为，可以根据坐标判断，但还需要二次开发判断方法，比较复杂；最后是训练流程复杂，很多开源的动物行为检测方法没有明确地阐述整个训练流程，自己制作自己的训练数据也比较困难。

发明内容

本发明的目的在于克服上述技术不足，提供一种基于时空上下文的昆虫行为识别方法、装置以及计算机存储介质，解决现有技术中昆虫行为识别精度低、训练数据获取复杂的技术问题。

为达到上述技术目的，本发明的技术方案提供一种基于时空上下文的昆虫行为识别方法，包括以下步骤：

获取昆虫行为视频，获取所述昆虫行为视频中经人工标注后的原始图像；

从所述原始图像中提取目标昆虫所在区域得到昆虫图像，将所述原始图像转换成灰度图像；

通过时间窗口从所述昆虫图像中生成空间图像，通过时间窗口从所述灰度图像中生成时间图像；

根据所述空间图像以及时间图像生成特征图像，对所述特征图像中的昆虫行为进行标注，并按行为分类；

以分类后的所述特征图像作为训练样本对神经网络进行训练，得到昆虫行为识别模型；

通过所述昆虫行为识别模型对待测视频中昆虫行为进行识别。

本发明还提供一种基于时空上下文的昆虫行为识别装置，包括处理器以及存储器，所述存储器上存储有计算机程序，所述计算机程序被所述处理器执行时，实现所述基于时空上下文的昆虫行为识别方法。

本发明还提供一种计算机存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时，实现所述基于时空上下文的昆虫行为识别方法。