[发明专利]基于深宽度联合神经网络的多模态数据知识信息提取方法

权利要求书

1.基于深宽度联合神经网络的多模态数据知识信息提取方法，其特征在于：包括以下步骤：

1)收集人员对智能制造工厂所产生的多模态数据，对数据进行预处理，将处理后的数据样本进行存储；

2)对原始多模态数据进行细分建表，分别将多模态数据处理成单模态数据特征表；

3)利用深宽度联合网络对多模态数据特征表进行特征提取，得到对应的高层抽象特征知识，从而实现对多模态数据知识信息的提取。

2.根据权利要求1所述的一种基于深宽度联合神经网络的多模态数据知识信息提取方法，其特征在于：在步骤1)中，收集智能制造工厂系统在日常流水线中产生的多模态数据日志并进行数据清洗过滤处理，将处理后的数据样本加载到以Kafka为基础实现的分布式消息系统中，并将数据存储到Hadoop分布式文件系统的存储模块中。

3.根据权利要求2所述的一种基于深宽度联合神经网络的多模态数据知识信息提取方法，其特征在于：在步骤2)中，存储到分布式文件系统中的原始多模态数据每一行包括各种模态的数据记录，将原始数据按照模态性质进行细分建表，分别将多模态数据处理成包括语音、文本、图像的单模态数据特征表，并存储到HIVE数据库中。

4.根据权利要求3所述的一种基于深宽度联合神经网络的多模态数据知识信息提取方法，其特征在于：步骤3)具体包括以下步骤：

3.1)对每个单模态数据建立不同层次的深度降噪自动编码网络，利用隐藏层学习得到的抽象低维特征重构输入数据；

3.2)将每个单模态数据由深度降噪自编码网络得到的抽象特征以不同的权值接入到上层的桥接层，并且不同模态的分支网络对应的权值不同，各个单模态数据所对应的深度降噪自编码网络的权值最终会自适应调整到最适合当前知识发现的权重值；

3.3)对于k类分类任务、m个模态数据、n个样本、桥接层的优化目标函数采用softmax分类器定义的损失函数来优化；

3.4)将所有模态的顶层输出通过外积乘法进行相连，得到融合后的语义特征空间作为上层宽度网络的多模态融合层R^m，融合公式为：

其中，Z₁至Z_m分别表示各模态对应的分支网络的最上层重构后的输入特征，代表外积算子；

3.5)将宽度网络特征层各个模态的输入分别再进行非线性映射从而使得模态特征映射到增强模态空间中，得到的增强模态特征将被concat合并起来作为宽度网络的增强模态层；

3.6)将上述步骤得到的最上层宽度网络的特征层、多模态融合层及增强模态层进行合并作为深宽度联合网络的输入，利用宽度网络求伪逆的训练方式对上层宽度网络进行训练。