[发明专利]一种基于深度学习的野生动物弱监督声音识别方法

权利要求书

1.一种基于深度学习的野生动物弱监督声音识别方法，其特征在于，包括以下步骤：

S1声音识别模型训练

S1.1获取包含野生动物图像及声音的视频集合；

S1.2提取视频中的图像帧序列及对应的音频；

S1.3利用深度学习网络对图像帧进行识别得到类别属性标签；

S1.4将音频时域数据转换为频域数据；

S1.5创建训练数据库；

S1.6利用类别属性标签及频域数据进行声音识别模型训练；

S2声音识别模型推理

S2.1获取只含有野生动物声音的视频集合；

S2.2提取视频中的音频数据；

S2.3将音频时域数据转换为频域数据；

S2.4利用声音识别模型对频域数据进行识别得到最终的类别属性标签。

2.根据权利要求1所述的一种基于深度学习的野生动物弱监督声音识别方法，其特征在于，步骤S1.1和步骤S1.2中，通过现有野生动物视频监测摄像机拍摄视频，所拍摄的视频包括野生动物的图像及声音片段；利用FFMPEG解码库将所拍摄的视频的音视频通道进行分离，获得相关的图像序列[I₁,I₂...I_N]及wav格式的音频文件。

3.根据权利要求2所述的一种基于深度学习的野生动物弱监督声音识别方法，其特征在于，步骤S1.3中，利用训练好的深度学习网络对图像序列[I₁,I₂...I_N]中的每一帧图像进行推理分类，获取该视频对应的野生动物类别属性标签。

4.根据权利要求3所述的一种基于深度学习的野生动物弱监督声音识别方法，其特征在于，步骤S1.3中，采用基于SSD的目标检测模型，对每一帧图像进行推理分类，得到每一帧图像的针对所有M类野生动物类别属性标签L_K对应的最高分类概率p_k，通过公式p_ij表示第i帧图像被分类为第j类动物的概率，N表示视频的总帧数，计算出所有帧野生动物类别属性标签对应的分类概率的最大值，进而确定视频中的野生动物类别属性标签L_K。

5.根据权利要求4所述的一种基于深度学习的野生动物弱监督声音识别方法，其特征在于，步骤S1.4中，利用python下的wave库中的specgram方法，结合傅立叶级数和傅立叶变换将wav格式的音频文件中的时域数据转换为图像格式的频域数据S_i。

6.根据权利要求5所述的一种基于深度学习的野生动物弱监督声音识别方法，其特征在于，步骤S1.5中，遍历所有的视频段序列，将步骤S1.3获取的野生动物类别属性标签L_K叠加到步骤S1.4中的频域数据S_i上，创建由音频转换的图像格式序列训练集合[S₁,S₂...S_N]及对应的类别属性标签[L₁,L₂...L_N]，建立训练数据库。

7.根据权利要求6所述的一种基于深度学习的野生动物弱监督声音识别方法，其特征在于，步骤S1.6中，对步骤S1.5中创建的图像格式序列训练集合采用AlexNet网络模型作为架构进行训练，利用caffe框架进行数据预处理和数据转换；通过不断迭代的方式，使模型权重Loss值收敛到最优，得到充分训练的声音识别模型Model_A。

8.根据权利要求7所述的一种基于深度学习的野生动物弱监督声音识别方法，其特征在于，步骤S2.2中，调用步骤S1.6中的声音识别模型Model_A对所拍摄的视频进行智能识别分类，确定视频中野生动物声音所属的动物种类；利用FFMPEG解码库将所得视频的音视频通道进行分离，获得相关的wav格式的音频文件。