[发明专利]多模态神经网络信息处理方法、装置、电子设备与介质

权利要求书

1.一种多模态神经网络信息处理方法，其特征在于，包括：

获取N种不同类型的样本数据，并标定所述样本数据的样本输出结果，其中N为正整数；

提取所述样本数据的样本特征数据，并预处理所述样本特征数据，所述样本特征数据继承所述样本数据的样本输出结果；

构建神经网络模型，将所述预处理后的样本特征数据输入所述神经网络模型进行训练，得到初级神经网络模型；

获取实际数据，并提取所述实际数据的实际特征数据；

基于所述标定的样本输出结果，将所述实际特征数据输入所述初级神经网络模型中，得到实际输出结果；

对所述实际输出结果进行评价，并调整所述实际输出结果的权值。

2.根据权利要求1所述的多模态神经网络信息处理方法，其特征在于，所述预处理所述样本特征数据包括：

对所述样本特征数据的格式进行统一。

3.根据权利要求1所述多模态神经网络信息处理方法，其特征在于，所述将所述预处理后的样本特征数据输入所述神经网络模型进行训练，得到初级神经网络模型包括：

将所述预处理后的样本特征数据输入所述神经网络模型，得到卷积数据；

根据所述预处理后的样本特征数据和卷积数据生成损失函数；

根据所述损失函数对所述神经网络模型进行梯度更新；

通过所述梯度更新调整所述神经网络模型的权重参数。

4.根据权利要求1任一项所述的多模态神经网络信息处理方法，其特征在于，所述对所述实际输出结果进行评价，并调整所述实际输出结果的权值包括：

对所述实际输出结果进行评价，得到评价分数；

基于所述评价分数，调整所述实际输出结果的权值。

5.根据权利要求1至4任一项所述的多模态神经网络信息处理方法，其特征在于，

所述样本数据和实际数据包括：声音数据、图像数据、温度数据、湿度数据、压强数据、距离数据、电压数据和电流数据；

所述样本输出结果和实际输出结果包括：语音输出结果、动作输出结果和显示输出结果。

6.一种多模态神经网络信息处理装置，其特征在于，包括：

样本输出标定模块，用于获取N种不同类型的样本数据，并标定所述样本数据的样本输出结果，其中N为正整数；

样本特征数据模块，用于提取所述样本数据的样本特征数据，并预处理所述样本特征数据，所述样本特征数据继承所述样本数据的样本输出结果；

神经网络模型训练模块，用于构建神经网络模型，将所述预处理后的样本特征数据输入所述神经网络模型进行训练，得到初级神经网络模型；

实际特征数据模块，用于获取实际数据，并提取所述实际数据的实际特征数据；

实际输出模块，用于基于所述标定的样本输出结果，将所述实际特征数据输入所述初级神经网络模型中，得到实际输出结果；

评价模块，用于对所述实际输出结果进行评价，并调整所述实际输出结果的权值。

7.根据权利要求6所述的多模态神经网络信息处理方法，其特征在于，所述样本特征数据模块，包括：

样本预处理单元，用于对所述样本特征数据的格式进行统一。

8.根据权利要求6至7任一项所述的多模态神经网络信息处理方法，其特征在于，所述评价模块模块包括：

评价分数单元，用于对所述实际输出结果进行评价，得到评价分数；

权值调整单元，用于基于所述评价分数，调整所述实际输出结果的权值。

9.一种电子设备，其特征在于，包括处理器与存储器，

所述存储器，用于存储代码；

所述处理器，用于执行所述存储器中的代码用以实现权利要求1至5任一项所述的方法。

10.一种存储介质，其上存储有计算机程序，该程序被处理器执行时实现权利要求1至5任一项所述的方法。