[发明专利]一种基于深度学习及图像技术的昆虫动态行为识别方法

说明书

本发明涉及一种行为识别方法，具体涉及一种基于深度学习及图像技术的昆虫动态行为识别方法。该识别方法，包括如下步骤：1）、获取数据源视频；2）、处理图像；3）、建立识别模型；4）、提取时间空间特征；5）、深度学习；6）、识别分类昆虫动态行为。该识别方法通过将昆虫身体分为头部和尾部区域，分别提取ROI，且分别对头部和尾部ROI进行检测，能有效避免昆虫当前行为对身体其他部位造成的震动干扰导致误判，进而能有效提高准确率；同时在对关键点识别模型和神经网络模型进行训练后，即能通过关键点识别模型和神经网络模型自动识别昆虫行为生成结果，进而能大大减少人工观测时间；解决了现有现有方法费时费力，准确性不佳的问题。

技术领域

本发明涉及一种行为识别方法，具体涉及一种基于深度学习及图像技术的昆虫动态行为识别方法。

背景技术

作物和储藏物历来一直饱受害虫的侵袭，研究昆虫行为的种类，规律和功能，可为昆虫的防治和预测预报提供理论基础。近年来，在农业生产中计算机视觉技术的应用越来越多，利用计算机代替人工监控、统计，有着更高的效率，为农业生产的调控提供可靠、准确的依据。

目前鲜有专门针对昆虫行为识别的方法，对动物的行为识别主要通过人工观察分析统计、光流法和关键点定位法。人工观察分析统计时研究人员需要一帧一帧地播放视频，并手动记录每次梳理行为的时间间隔，这既费时费力，又不准确；人工观察法效率偏低、耗时长、人员易疲劳，数据偏差随观察时间增加而增多，影响最终研究结论。国外有少量对于昆虫行为识别的研究，其利用计算机程序对昆虫行为检测和分析，但其对昆虫行为检测和分析的准确性欠佳。

发明内容

本发明的目的是：提供一种能在保证昆虫行为检测和分析的准确性的情况下，同时能大大减少人工观测的时间，以解决现有方法费时费力，准确性不佳问题的基于深度学习及图像技术的昆虫动态行为识别方法。

本发明的技术方案是：

一种基于深度学习及图像技术的昆虫动态行为识别方法，其特征在于：包括如下步骤：

1）、获取数据源视频

a、通过录像设备使用高清摄像头，拍摄视频分辨1920*1080、帧率为25帧每秒的透明培养皿中自由活动的昆虫背面和正面区域场景视频；

2）、处理图像

b、将拍摄的昆虫行为视频筛选整理，按时序逐帧读取，使用图像处理技术对帧图片阈值分割，阈值分割时根据拍摄背景的颜色直方图确定区间阈值，最低阈值low在[60,50,20]至[100,70,60] 范围内确定，最高阈值high在[200,200,200]至[255,255,255]范围内确定，将最低阈值low和最高阈值high之间的颜色值（RGB数值）变为255，将最低阈值low和最高阈值high之间的颜色值变为0，从而无噪点地提取图像中的昆虫背景，提取出的部分转换为一个含有昆虫背景信息的灰度图像，将获得的灰度图像矩阵取反，获得该帧中只含有昆虫身体像素信息的图像；

c、将拍摄的昆虫行为视频筛选整理，按时序逐帧读取，对图像进行灰度化处理，生成带有时间信息的灰度图像；

3）、建立识别模型

d、对步骤c中获得的图像通过帧间差分强度局部最大值关键帧提取算法，提取关键点识别训练帧，每分钟视频提取出1-2帧，提取训练帧后，在训练帧中标记头部和尾部的关键点，训练帧中的数据使用尺度抖动与随机旋转进行增强，尺度抖动的范围为0.5-1.5，随机旋转的范围为±25，增强后，向数据中添加随机运动模糊与弹性形变；

e、将步骤d处理获得的训练帧投入关键点识别算法DeepLabCut在ImageNet数据集上预训练过的ResNet50训练网络中，通过训练帧对关键点识别算法DeepLabCut进行训练获得一个昆虫头部与尾部关键点识别模型；