[发明专利]多模态神经网络信息处理方法、装置、电子设备与介质

说明书

本发明提供了一种多模态神经网络信息处理方法、装置、电子设备与介质，所述方法包括：获取N种不同类型的样本数据，并标定所述样本数据的样本输出结果；提取所述样本数据的样本特征数据，并预处理所述样本特征数据，所述样本特征数据继承所述样本数据的样本输出结果；构建神经网络模型，将所述预处理后的样本特征数据输入所述神经网络模型进行训练，得到初级神经网络模型；获取实际数据，并提取所述实际数据的实际特征数据；基于所述标定的样本输出结果，将所述实际特征数据输入所述初级神经网络模型中，得到实际输出结果；对所述实际输出结果进行评价，并调整所述实际输出结果的权值。本发明有助于提高神经网络处理不同类型数据的能力。

技术领域

本发明涉及信息处理领域，尤其涉及一种多模态神经网络信息处理方法、装置、电子设备与存储介质。

背景技术

现有神经网络系统的一个系统模型通常只能针对某一类信息进行训练、识别和合成，对于多种类型的信息无法同时处理，例如图像和声音不能在一个系统模型中处理。

本发明采用不同类型的多模态机制来实现类脑神经网络系统。通过将多种不同类型的样本数据提取特征数据后，输入预先构建的神经网络模型中，将多种不同类型的样本数据转化为相同类型的神经元，如图像、声音、距离、温度、湿度、压强、电压、电流等都可以转化为多个同类型的神经元；同时标定样本特征数据对应的输出结果；然后获取实际数据后提取实际特征数据，通过预先标定的样本特征数据的输出结果，来匹配到实际特征数据的输出结果，再根据对实际输出结果的评价来调整实际输出结果的权值，让输出结果趋于稳定，从而使得神经网络可以处理不同类型的数据，有助于提高神经网络处理不同类型数据的能力。

发明内容

本发明提供一种多模态神经网络信息处理方法、装置、电子设备与介质，以解决一个神经网络处理多种类型数据的能力较低的问题。

根据本发明的第一方面，提供了一种多模态神经网络信息处理方法，包括：

获取N种不同类型的样本数据，并标定所述样本数据的样本输出结果，其中N为正整数；

提取所述样本数据的样本特征数据，并预处理所述样本特征数据，所述样本特征数据继承所述样本数据的样本输出结果；

构建神经网络模型，将所述预处理后的样本特征数据输入所述神经网络模型进行训练，得到初级神经网络模型；

获取实际数据，并提取所述实际数据的实际特征数据；

基于所述标定的样本输出结果，将所述实际特征数据输入所述初级神经网络模型中，得到实际输出结果；

对所述实际输出结果进行评价，并调整所述实际输出结果的权值。

根据本发明的第二方面，提供了一种多模态神经网络信息处理装置，包括：

样本输出标定模块，用于获取N种不同类型的样本数据，并标定所述样本数据的样本输出结果，其中N为正整数；

样本特征数据模块，用于提取所述样本数据的样本特征数据，并预处理所述样本特征数据，所述样本特征数据继承所述样本数据的样本输出结果；

神经网络训练模块，用于构建神经网络模型，将所述预处理后的样本特征数据输入所述神经网络模型进行训练，得到初级神经网络模型；

实际特征数据模块，用于获取实际数据，并提取所述实际数据的实际特征数据；

实际输出模块，用于基于所述标定的样本输出结果，将所述实际特征数据输入所述初级神经网络模型中，得到实际输出结果；

评价模块，用于对所述实际输出结果进行评价，并调整所述实际输出结果的权值。