[发明专利]一种基于BMFCC-GBFB-DNN的机电设备视听信息融合方法

说明书

本发明涉及基于BMFCC‑GBFB‑DNN的机电设备视听信息融合方法，是一种对对现代化机电设备运行过程中分布式视觉信息和听觉信息融合的方法，属于目标追踪与神经网络领域，其特征在于采用如下步骤：(1)提取MFCC特征，确定听觉信息的F比；(2)确定MFCC参数加权后的表达式；(3)MFCC参数进行主成分分析；(4)提取听觉信息的GBFB特征；(5)将卷积后结果分解为子块矩阵；(6)图像的可听化处理；(7)搭建DNN架构。本发明利用BMFCC及GBFB提取听觉信息特征，极大地提高了特征的代表性和噪声的鲁棒性。利用DNN神经网络对视听信息融合，一定程度上提高了内容的丰富性以及融合的实时性。这说明本算法在机电设备视听信息融合时，能达到很好的效果。

技术领域

本发明涉及目标追踪与神经网络领域，主要是一种对现代化机电设备运行过程中分布式视觉信息和听觉信息融合的方法。

背景技术

目前，感知信息融合技术在目标追踪领域具有广泛的应用性，因此对机电设备视听信息融合的研究成为研究热点。现有的信息大多局限于图像或视频格式的视觉信息，听觉信息并没有被很好的利用起来。将两者信息融合起来，克服视觉和听觉信息独立存在的缺陷，获取全面的信息成为研究问题的关键。常见的将视觉信息可听化多是对空间域图像像素灰度以及像素位置进行映射，其映射结果的准确性及实时性随图像内容复杂度的影响。传统的视听信息融合通常采用决策级融合算法，因为提取特征过程中经过似然度计算和大量的人工处理，其结果并不能真实反映视听结果的特征。

作为现代众多领域研究的热点，视听信息融合已经达到了成熟的阶段，本设计在已存在的成功算法基础上，结合众多算法的优点，进行算法的改善。提出的听觉信息特征的提取，有很好的抗噪性，对噪声具有很好的鲁棒性。视听信息特征级融合将视听信号特征融合形成特征矢量，一定程度上提高了内容的丰富性以及融合的实时性。特征提取的代表性，图像可听化的准确性，视听信息融合的实时性，要求我们建立一种高效的算法，实现机电设备视听信息的提取及融合过程在稳定性的基础上提高效率，有效减少算法时间，为目标领域的应用提供精确有效的融合信息，促进现代经济的现代化发展，保障国防事业的安全。

发明内容

针对上述现有技术中存在的问题，本发明要解决的技术问题是提供一种基于BMFCC-GBFB-DNN的机电设备视听信息融合方法，其具体流程如图1所示。

技术方案实施步骤如下：

(1)提取MFCC特征，确定分布式光纤信号听觉信息的F比F(k)：

式中，F_between(k)为第k维分量均值的方差，F_within(k)为第k维分量的方差之和。

(2)确定MFCC参数加权后的表达式C(n)：

首先，根据F比图特点，假设加权系数表达式为：

c_i＝a+bsin(π·i/p)

式中，p为滤波器阶数，i＝0,1,…,p-1，a为加权系数的静态分量，b为加权系数的线性分量。根据经验细化a,b值，确定MFCC参数加权后的表达式C(n)：

式中，M代表滤波器阶数，m为对应的分布式光纤听觉信息的帧数，s(m)为对应于m帧的分布式光纤听觉信息。

(3)MFCC参数进行主成分分析：

对加权处理过的特征分量求差分，ΔWMFCC为特征分量一阶差分，Δ²WMFCC为特征分量二阶差分。将三者组成一组特定维数的MFCC参数。

对得到的参数进行PCA主成分分析，确定相关矩阵T：