[发明专利]一种基于音视频耦合的鸣笛车辆定位方法及系统

权利要求书

1.一种基于音视频耦合的鸣笛车辆定位方法，其特征在于，包括：

获取待分析音频数据和待分析视频数据；

提取所述待分析音频数据的时域特征和频域特征，根据所述时域特征和所述频域特征识别得到鸣笛声的音频片段；根据所述鸣笛声的音频片段确定鸣笛的声源方向；

根据所述待分析视频数据确定鸣笛车辆位置；

根据所述声源方向和所述鸣笛车辆位置，确定鸣笛车辆信息。

2.根据权利要求1所述的一种基于音视频耦合的鸣笛车辆定位方法，其特征在于，所述获取待分析音频数据和待分析视频数据，包括：

采用线性麦克风阵列从道路交通环境中采集原始音频数据，并通过小波阈值去噪算法去除所述原始音频数据中的交通环境噪声，得到所述待分析音频数据；

采用摄像头采集待分析视频数据。

3.根据权利要求2所述的一种基于音视频耦合的鸣笛车辆定位方法，其特征在于，所述通过小波阈值去噪算法去除所述原始音频数据中的交通环境噪声，得到所述待分析音频数据，包括：

通过小波阈值去噪算法对所述原始音频数据进行降噪处理；

在完成所述降噪处理后，对所述原始音频数据进行分帧和加窗处理，并对处理后的音频数据进行归一化处理，得到所述待分析音频数据。

4.根据权利要求1所述的一种基于音视频耦合的鸣笛车辆定位方法，其特征在于，所述提取所述待分析音频数据的时域特征和频域特征，包括：

在时间域中，计算所述待分析音频数据的短时过零率和短时能量，确定所述时域特征；

在频谱域中，计算所述待分析音频数据的基于傅里叶变换的梅尔频率倒谱系数特征和基于小波变换的梅尔频率倒谱系数特征，确定所述频域特征；

将所述频域特征中基于傅里叶变换的梅尔频率倒谱系数特征与所述时域特征中的短时过零率进行拼接，得到第一张量；

将所述频域特征中基于小波变换的梅尔频率倒谱系数特征与所述时域特征中的短时能量进行拼接，得到第二张量；

将所述第一张量和所述第二张量进行拼接，得到融合后的音频时频域特征。

5.根据权利要求4所述的一种基于音视频耦合的鸣笛车辆定位方法，其特征在于，所述根据所述时域特征和所述频域特征识别得到鸣笛声的音频片段，包括：

通过修改ResNet50网络的网络参数和网络结构，构建目标深度神经网络；其中，所述网络参数包括输入尺寸、中间层数量或输出尺寸；所述目标深度神经网络的输入尺寸与所述音频时频域特征的尺寸适配；

将音频分成多个子片段，将每个子片段输入所述目标深度神经网络，得到各个子片段被判断为鸣笛声的判定概率；

根据所述判定概率确定鸣笛声出现的时间。

6.根据权利要求1所述的一种基于音视频耦合的鸣笛车辆定位方法，其特征在于，所述根据所述鸣笛声的音频片段确定鸣笛的声源方向，包括：

获取线性麦克风阵列的各个麦克风之间的距离参数以及实时环境声速；

采用基于二次相关的时延估计方法计算得到声音传播的时延信息；

根据所述距离参数、所述实时环境声速以及所述时延信息，计算所述声源方向的估计结果；

采用可控波束形成算法对所述声源方向的估计结果进行范围扫描，得到目标声源方向。

7.根据权利要求6所述的一种基于音视频耦合的鸣笛车辆定位方法，其特征在于，所述采用基于二次相关的时延估计方法计算得到声音传播的时延信息，包括：

对采集到的第一源信号和第二源信号进行相关性处理，得到自相关序列和互相关序列；

将所述自相关序列和所述互相关序列视为关于时间的序列，对所述自相关序列和所述互相关序列再次进行互相关处理，得到二次相关结果；

对所述二次相关结果进行广义加权处理，得到功率谱，并对所述功率谱进行反傅里叶变换处理后，找到所述二次相关结果中最大值对应的时间点，确定为声音传播的时延估计结果。