[发明专利]一种基于时空上下文的昆虫行为识别方法及装置

权利要求书

1.一种基于时空上下文的昆虫行为识别方法，其特征在于，包括以下步骤：

获取昆虫行为视频，获取所述昆虫行为视频中经人工标注后的原始图像；

从所述原始图像中提取目标昆虫所在区域得到昆虫图像，将所述原始图像转换成灰度图像；

通过时间窗口从所述昆虫图像中生成空间图像，通过时间窗口从所述灰度图像中生成时间图像；

根据所述空间图像以及时间图像生成特征图像，对所述特征图像中的昆虫行为进行标注，并按行为分类；

以分类后的所述特征图像作为训练样本对神经网络进行训练，得到昆虫行为识别模型；

通过所述昆虫行为识别模型对待测视频中昆虫行为进行识别；

通过时间窗口从所述昆虫图像中生成空间图像，通过时间窗口从所述灰度图像中生成时间图像，具体为：

计算所述时间窗口中原始图像的每个像素的灰度变化值：

其中，D为原始图像中第j个像素的灰度变化值，W为时间窗口的帧数，ABS表示绝对值函数，F_i表示时间窗口中第i帧原始图像中第j个像素的灰度值，F_i-1表示时间窗口中第i-1帧原始图像中第j个像素的灰度值；

以灰度变化值最大的像素点为中心，从所述原始图像中裁剪设定大小的区域作为ROI区域；

从所述昆虫图像中裁剪与所述ROI区域相应的图像作为空间图像；

从所述灰度图像中裁剪与所述ROI区域相应的图像作为时间图像；

根据所述空间图像以及时间图像生成特征图像，具体为：

将各时间图像转换为行向量，结合同一时间窗口中各时间图像对应的行向量得到矩阵T:

其中，t_ij为第i帧时间图像中第j个像素的像素值，i＝1，2，…，W，W为时间窗口的帧数，j＝1，2，…，p，p为所述时间图像所包含的像素数量；

将矩阵T在列方向上进行傅里叶变换得到矩阵F：

其中，ABS表示绝对值函数，FFT为傅里叶变换，ft_ij为矩阵T进行傅里叶变换后与t_ij相对应的值；

根据矩阵F计算每一个像素的质心，结合各像素的质心，得到质心向量：

G＝[g₁ g₂ … g_p]

其中，G为质心向量，g_j表示第j个像素的质心；

将所述质心向量还原成与所述时间图像的像素相对应的质心矩阵，根据所述质心矩阵从所述时间图像中筛选出光谱重心高于设定值的高光谱像素区域；

将所述时间图像中的高光谱像素区域标记为第一设定颜色，将所述时间图像中除所述高光谱像素区域以外的其他像素区域标记为第二设定颜色，将所述空间图像对应的像素区域标记为第三设定颜色，得到所述特征图像。

2.根据权利要求1所述的基于时空上下文的昆虫行为识别方法，其特征在于，从所述原始图像中提取目标昆虫所在区域得到昆虫图像，具体为：

通过设置背景颜色区间阈值，从所述原始图像中提取出背景图像；

将所述背景图像的颜色进行翻转，得到只包含目标昆虫的昆虫图像。

3.根据权利要求1所述的基于时空上下文的昆虫行为识别方法，其特征在于，所述特征图像中的昆虫行为进行标注，并按行为分类，具体为：

筛除噪声大于设定值或不包含目标昆虫的特征图像；

对每一所述特征图像的昆虫行为进行标注，并建立与昆虫行为类别一一对应的文件夹，根据标注结果将各所述特征图像保存至对应的文件夹中，实现分类。

4.根据权利要求1所述的基于时空上下文的昆虫行为识别方法，其特征在于，所述神经网络包括卷积层、池化层、全连接层以及softmax分类器。