[发明专利]一种基于卷积神经网络的人员落水检测方法

权利要求书

1.一种基于卷积神经网络的人员落水检测方法，其特征在于包括下述步骤：

步骤一：采集声信号和现场图像；

用智能水听器采集声信号，用摄像头拍摄现场图像，原始的图像信息为P，水听器接收的声信号为y(t)，

其中s_p(t)表示有人员落水信号，s_o(t)表示无人员落水信号，h(t)为当前水声信道的冲击响应，*表示卷积运算，n(t)为当前水域中的环境噪声，t为时间变量；

步骤二：声信号的分帧和加窗；

对水听器采集到的声信号y(t)进行分帧和加窗处理，处理后的信号为x(t)；

步骤三：声信号生成时频图；

将信号x(t)转化为时频图P_x，提取该信号中的时频域信息；

步骤四：缩放图像并堆叠；

将时频图P_x和摄像头拍摄的现场图像P缩小至同一尺寸，并将时频图P_x和摄像头拍摄的现场图像P堆叠复合在一起：

P_x′＝P_x·r₁

P′＝P·r₂

P_ol＝[P_x′ P′]

其中P_x′和P′分别是P_x和P缩小后的图像信息，r₁和r₂分别是两个不同的缩放因子，P_ol是堆叠后的复合图像信息；

步骤五：分割训练集和测试集；

将复合图像信息P_ol的数据集按照比例和规则划分为训练集和测试集，最后经过人工标注得到最终的神经网络的数据集D：

D＝{P_ol^u}，u＝1,2...,N_u

其中N_u表示复合图像信息P_ol的数量；

步骤六：搭建卷积神经网络；

搭建卷积神经网络模型C一共有4层，其中前三层均是卷积层，卷积层包含卷积、非线性激活和最大池化，最后一层是全连接层；卷积神经网络模型C在卷积神经网络的基础上引入了注意力机制，第三个卷积层的输出展开后的张量N₃代表张量X的列数：

其中α_i代表选择第i个输入向量的概率，z＝i表示选择了第i个输入变量，q表示查询向量，s(x_i,q)为注意力打分函数，d是输入向量的维度，att(X,q)即是注意力函数；

步骤七：训练并优化卷积神经网络模型；

调整卷积神经网络中的超参数，并选取不同的激活函数和梯度下降优化算法提升该卷积神经网络的表现；

神经网络的输出与神经网络输入和神经网络模型的关系如下：

其中Prob代表数据集D中各个样本经过卷积神经网络C后判断为正负类的概率，代表卷积神经网络运算，posi和nega分别代表待检测样本被识别为正负类的概率；

步骤八：实现人员落水检测；

将水听器接收到的声信号和无人机拍摄的现场图像经过步骤二至步骤四的处理后，输入到步骤七里已经训练并且优化好的卷积神经网络模型中进行检测，依据检测结果判断从而有无人员落水。

2.根据权利要求1所述的基于卷积神经网络的人员落水检测方法，其特征在于：

所述超参数包括学习率、批次大小、卷积核的尺寸和迭代次数，学习率取值为0.0001。

3.根据权利要求1所述的基于卷积神经网络的人员落水检测方法，其特征在于：所述激活函数采用Relu函数。

4.根据权利要求1所述的基于卷积神经网络的人员落水检测方法，其特征在于：所述梯度下降优化算法采用Adam梯度下降优化算法。