[发明专利]一种基于深度学习的野生动物弱监督声音识别方法

说明书

一种基于深度学习的野生动物弱监督声音识别方法，涉及野生动物声音识别领域，包括：声音识别模型训练：获取包含野生动物图像及声音的视频集合；提取视频中的图像帧序列及对应的音频；利用深度学习网络对图像帧进行识别得到类别属性标签；将音频时域数据转换为频域数据；创建训练数据库；利用类别属性标签及频域数据进行声音识别模型训练；声音识别模型推理：获取只含有野生动物声音的视频集合；提取视频中的音频数据；将音频时域数据转换为频域数据；利用声音识别模型对频域数据进行识别得到最终的类别属性标签。本发明降低了样本标注成本，采用深度学习方法，无需人工筛选特征模板，提高了准确率和识别效率。

技术领域

本发明涉及野生动物声音识别技术领域，具体涉及一种基于深度学习的野生动物弱监督声音识别方法。

背景技术

在野生动物保护领域，为了实现野生动物统计的需求，常常需要通过设置野生动物视频监测摄像机等方式获取野生动物相关的视频、图像和声音片段，并通过一定的技术手段识别出所捕捉到的野生动物种类。

目前，关于声音识别技术的研究内容，主要分为以下两个方面：一是声音的获取与分离，如利用专业录音设备捕捉声音、信号处理分离音频信号等。二是声音的分类识别，如利用传统的模式识别方法进行音频识别等。尤其是在野生动物保护领域，由于在野外环境中获取野生动物的声音较为困难，而且噪声较大，常常需要配备专业的录制设备，如公开号为CN212340316U的中国专利公开的一种用于野生动物声音采集系统的生境因子采集装置，包括固定杆，固定杆为中空密封结构，其顶部设有风速风向传感器，风速风向传感器的下方设有光照传感器，光照传感器固定于固定杆的上部外侧壁上，固定杆的上部外侧壁还设有空气温湿度传感器，固定杆的中部外侧壁固定有气体浓度检测组件，固定杆的下端固定有钎杆，钎杆的尖端朝下设置，钎杆的侧壁设有土壤温湿度传感器；固定杆的内部设有控制模组，各传感器将采集到的生境因子数据传递至控制模组，控制模组经分析转换发送至野生动物声音采集系统。在成功获取动物音频后，需要使用特定算法进行音频分类识别，用以确定动物声音的来源种类，如公开号为CN104882144A的中国专利公开的基于声谱图双特征的动物声音识别方法，主要是利用信号处理方法获取声谱图，再将声谱图转化为易于处理的特征向量或矩阵，进一步的通过随机森林等模式识别方法进行训练、识别，达到分类识别的目的。

现有的野生动物声音识别方法，存在以下缺点：

野生动物声音样本获取困难，野生动物声音通过专业设备捕捉声音数据，且有一定噪声，对于训练样本的获取造成困难，需要大量的人工标注工作进行样本处理，耗费较多的人力、财力和物力。另外，现有的音频模式识别方法准确率低，并且依赖人工的特征设计，不利于智能分类识别的迁移扩展性应用。

发明内容

本发明的目的是提供一种基于深度学习的野生动物弱监督声音识别方法，以解决现有野生动物声音识别方法存在的问题，降低现有声音标注样本的人力、财力和物力投入，并通过深度学习的方法，对获取的野生动物的声音进行智能分类识别。

本发明为解决技术问题所采用的技术方案如下：

本发明的一种基于深度学习的野生动物弱监督声音识别方法，包括以下步骤：

S1声音识别模型训练

S1.1获取包含野生动物图像及声音的视频集合；

S1.2提取视频中的图像帧序列及对应的音频；

S1.3利用深度学习网络对图像帧进行识别得到类别属性标签；

S1.4将音频时域数据转换为频域数据；

S1.5创建训练数据库；

S1.6利用类别属性标签及频域数据进行声音识别模型训练；

S2声音识别模型推理

S2.1获取只含有野生动物声音的视频集合；