[发明专利]多模态的融合方法、装置、设备及介质

权利要求书

1.一种多模态的融合方法，其特征在于，包括：

获取多个待融合的模态；

将各个所述待融合的模态经过编码器进行编码，得到各个所述待融合的模态对应的特征向量；

对所述特征向量进行预处理，得到各个所述特征向量的目标特征向量；其中预处理的方式为对所述特征向量进行增加或者减少维度；

根据各个所述目标特征向量对应的维度为每个所述目标特征向量设置多个权重矩阵；其中，所述权重矩阵的横列数量与所述目标特征向量的纵列数量相同，各个所述权重矩阵的纵列数量为预设值；

将各个所述目标特征向量与对应的多个所述权重矩阵相乘，得到各个所述目标特征向量分别对应的多个暂时向量，其中，所述暂时向量的数量与所述权重矩阵相同；

将各个所述目标特征向量对应的多个所述暂时向量进行逐元素相加，得到各个所述目标特征向量对应的且纵列数量为预设值的模态向量；

将所述模态向量进行融合操作，得到多个模态对应的总向量。

2.如权利要求1所述的多模态的融合方法，其特征在于，所述对所述特征向量进行预处理，得到各个所述特征向量的目标特征向量的步骤，包括：

对所述特征向量的最后一个位置增加一个标量为1的维度，得到目标特征向量。

3.如权利要求1所述的多模态的融合方法，其特征在于，所述将所述模态向量进行融合操作，得到多个模态对应的总向量的步骤，包括：

将各个模态向量进行向量内积操作，得到多个模态对应的总向量。

4.如权利要求1所述的多模态的融合方法，其特征在于，所述将所述模态向量进行融合操作，得到多个模态对应的总向量的步骤，包括：

将各个模态向量进行向量拼接，得到拼接向量；

将所述拼接向量输入全连接层，在全连接层乘以n×m*m的权重，得到总向量；其中，n为模态向量的个数，m为所述预设值。

5.如权利要求1所述的多模态的融合方法，其特征在于，所述将各个所述待融合的模态经过编码器进行编码，得到各个所述待融合的模态对应的特征向量的步骤，包括：

获取各个模态的表现形式；其中表现形式至少包括文本、图像、语音三种表现形式；

根据各个模态的表现形式设置对应的编码器；

利用对应的编码器对各个模态进行编码，得到各个模态对应的特征向量。

6.如权利要求1所述的多模态的融合方法，其特征在于，所述将所述模态向量进行融合操作，得到多个模态对应的总向量的步骤之后，还包括：

获取多模态数据样本，其中所述多模态数据样本包括多个总向量以及对应的实际识别结果；

将各个总向量输入至预设的神经网络模型进行识别，得到预测识别结果；

根据实际识别结果和预测识别计算各个所述多模态数据样本的损失函数；

通过预设的参数调整策略，利用各个所述多模态数据样本的损失函数，对所述神经网络模型的参数进行更新和/或对生成的权重矩阵进行更新。

7.一种多模态的融合装置，其特征在于，包括：

获取模块，用于获取多个待融合的模态；

编码模块，用于将各个所述待融合的模态经过编码器进行编码，得到各个所述待融合的模态对应的特征向量；

预处理模块，用于对所述特征向量进行预处理，得到各个所述特征向量的目标特征向量；其中预处理的方式为对所述特征向量进行增加或者减少维度；

设置模块，用于根据各个所述目标特征向量对应的维度为每个所述目标特征向量设置多个权重矩阵；其中，所述权重矩阵的横列数量与所述目标特征向量的纵列数量相同，各个所述权重矩阵的纵列数量为预设值；

相乘模块，用于将各个所述目标特征向量与对应的多个所述权重矩阵相乘，得到各个所述目标特征向量分别对应的多个暂时向量，其中，所述暂时向量的数量与所述权重矩阵相同；

相加模块，用于将各个所述目标特征向量对应的多个所述暂时向量进行逐元素相加，得到各个所述目标特征向量对应的且纵列数量为预设值的模态向量；

融合模块，用于将所述模态向量进行融合操作，得到多个模态对应的总向量。