[发明专利]一种确定响应方式的方法、装置、介质和设备

权利要求书

1.一种确定响应方式的方法，其特征在于，所述方法包括：

接收至少两种人机交互信息，所述人机交互信息包括视频信息、音频信息或文本信息；

确定接收到的每一种人机交互信息分别对应的一个特征向量，并根据确定出的每一个特征向量，确定融合特征向量；

利用分别对应的决策分类模型，确定所述融合特征向量、每一个特征向量各自对应的至少一种响应方式，以及每种响应方式的打分结果；

根据每种响应方式的打分结果，确定一种响应方式。

2.如权利要求1所述的方法，其特征在于，根据确定出的每一个特征向量，确定融合特征向量，包括：

将确定出的每一个特征向量，分别转换为对应目标模态空间的特征向量；

将转换得到的每一个对应目标模态空间的特征向量进行拼接，得到融合特征向量。

3.如权利要求2所述的方法，其特征在于，将确定出的每一个特征向量，分别转换为对应目标模态空间的特征向量，包括：

利用深度神经网络模型，将确定出的每一个特征向量，分别转换为对应目标模态空间的特征向量。

4.如权利要求1所述的方法，其特征在于，根据每种响应方式的打分结果，确定一种响应方式，包括：

分别根据所述融合特征向量、每一个特征向量各自对应的权重，确定各自对应的每种响应方式的打分结果的加权值；

根据确定出的每种响应方式的打分结果的加权值，确定一种响应方式。

5.如权利要求4所述的方法，其特征在于，所述融合特征向量、每一个特征向量各自对应的权重，经过自适应学习得到。

6.如权利要求1～5任一所述的方法，其特征在于，确定接收到的视频信息对应的一个特征向量，包括：

利用对应的深度神经网络模型，确定接收到的视频信息对应的视频特征向量；

确定接收到的音频信息对应的一个特征向量，包括：

利用对应的深度神经网络模型，确定接收到的音频信息对应的音频特征向量；

确定接收到的文本信息对应的一个特征向量，包括：

利用预训练模型，确定接收到的文本信息对应的第一文本特征向量。

7.一种确定响应方式的装置，其特征在于，所述装置包括：

特征向量确定模块，用于接收至少两种人机交互信息，所述人机交互信息包括视频信息、音频信息或文本信息，确定接收到的每一种人机交互信息分别对应的一个特征向量；

特征向量融合模块，用于根据确定出的每一个特征向量，确定融合特征向量；

单特征决策模块，用于利用分别对应的决策分类模型，确定每一个特征向量各自对应的至少一种响应方式，以及每种响应方式的打分结果；

多特征决策模块，用于利用对应的决策分类模型，确定所述融合特征向量对应的至少一种响应方式，以及每种响应方式的打分结果；

决策融合模块，用于根据所述单特征决策模块和所述多特征决策模块确定出的每种响应方式的打分结果，确定一种响应方式。

8.如权利要求7所述的装置，其特征在于，所述特征向量融合模块，具体用于将确定出的每一个特征向量，分别转换为对应目标模态空间的特征向量；将转换得到的每一个对应目标模态空间的特征向量进行拼接，得到融合特征向量。

9.如权利要求8所述的装置，其特征在于，所述特征向量融合模块，用于将确定出的每一个特征向量，分别转换为对应目标模态空间的特征向量，包括：利用深度神经网络模型，将确定出的每一个特征向量，分别转换为对应目标模态空间的特征向量。

10.如权利要求7所述的装置，其特征在于，所述决策融合模块，具体用于分别根据所述融合特征向量、每一个特征向量各自对应的权重，确定各自对应的每种响应方式的打分结果的加权值；根据确定出的每种响应方式的打分结果的加权值，确定一种响应方式。