[发明专利]一种基于深度学习的多模式数据融合方法

权利要求书

1.一种基于深度学习的多模式数据融合方法，其特征在于，包括：

对N个模式数据分别进行向量化处理；N为自然数，且N个模式数据中包括传感器数据；

对N个模式数据中每一个模式数据建模，得到N个单模式数据；

将得到的任意两个单模式数据进行融合，得到双模式数据；

将包含相同模式数据的任意两个双模式数据进行融合，将任一个双模式数据和与该双模式数据不相同的单模式数据进行融合，得到三模式数据；

以此类推，根据得到的N-1模式数据进行N模式数据融合，得到N模式数据；

所述N为4，四个模式数据分别为音频数据、传感器数据、图像数据和文本数据，对所述音频数据进行稀疏化和向量化处理具体为：

根据第j个隐层神经元的平均激活度得到m为音频数据的个数，x⁽ⁱ⁾表示第i个音频数据；

其中，表示两个分别以ρ和为均值伯努力分布的相对熵，ρ为稀疏性参数，为隐藏神经元j的激活度，n为隐层神经元个数；

设定截断核范数；

然后进行稀疏自编码学习，得到稀疏化和向量化的音频数据J_sparse(W,b)；

其中，h_W,b(x⁽ⁱ⁾)表示重建的x⁽ⁱ⁾，β,α表示稀疏化惩罚因子的权重，W⁽¹⁾表示可见层到第一隐层的权重；

对传感器数据和图像数据进行稀疏化和向量化处理，具体为：

设神经网络为k层，设传感器数据和图像数据均由N个数据样本组成，每个数据样本为D维向量，第k层数据向量为

预设每一层的学习阈值为(b₁,…b_K)，每一层的学习阈值逐渐增加；

进行可见层到第一隐层的学习，得到第一隐层的向量；

根据得到的第一隐层的向量，进行第i隐层到第i+1隐层的学习，得到第i+1隐层的向量，0<i<k-2；

根据第k-2隐层的向量，进行第k-2隐层到第k-1隐层的学习，得到稀疏化和向量化后的传感器数据和图像数据。

2.根据权利要求1所述的方法，其特征在于，所述第一隐层的向量为其中，{v¹,...,v^m}表示训练集中有m个训练样本，ρ为稀疏性参数，D表示维数，W_ij表示可见层第i个单元对第一隐层第j个神经元的贡献度；b_j表示第j个神经元的偏移值。

3.根据权利要求1所述的方法，其特征在于，所述第k-2隐层的向量为

其中，h_j⁽ⁱ⁾表示第i隐层第j个向量，表示第k-2隐层第j个向量，表示第i-1隐层第s个神经元对第i隐层第j个神经元的贡献度，表示第i-1层到第i层的第j个神经元的偏移值；表示第k-3隐层第s个神经元对第k-2隐层第j个神经元的贡献度，表示第k-3层到第k-2层的第j个神经元的偏移值。

4.根据权利要求1所述的方法，其特征在于，设稀疏化和向量化后的传感器数据和图像数据为h^(k-1)，表示第k-1隐层第j个向量，其中，第k-2隐层第s个神经元对第k-1隐层第j个神经元的贡献度，表示第k-2层到第k-1层的第j个神经元的偏移值。

5.根据权利要求1所述的方法，其特征在于，将包含相同模式数据的任意两个双模式数据进行融合，将任一个双模式数据和与该双模式数据不相同的单模式数据进行融合，得到三模式数据，具体为：

将双模式数据中包含相同模式数据的任意两个双模式数据组合，称为第一组合；将任一个双模式数据和与其不相同的单模式数据组合，称为第二组合；

使用限制波尔兹曼机对第一组合和第二组合中任一项的第一、第二隐层分别建模，得到三模式数据。