[发明专利]人物情绪识别方法、装置、终端设备及存储介质

权利要求书

1.一种人物情绪识别方法，其特征在于，包括：

获取多个时刻下的多种待识别信息，所述多种待识别信息包括文本信息、音频文件以及视频图像；

从所述多个时刻下的多种待识别信息中，提取当前时刻下的多种识别信息，并从所述多种识别信息中提取多种识别特征；

将所述多种识别特征输入至预设的时序模型中，得到多种时序特征；

融合所述多种时序特征得到融合特征，并根据所述融合特征识别当前时刻下目标人物的情绪；所述融合特征包括第一融合特征、第二融合特征以及第三融合特征；所述时序特征为时序文本特征、时序音频特征以及时序图像特征，所述时序音频特征和所述时序图像特征由第一时序模型通过对当前时刻下的所述音频文件以及视频图像进行处理得到，以使得时序文本特征、时序音频特征以及时序图像特征为处于同一维度的特征向量；

所述融合所述多种时序特征得到融合特征，包括：

融合所述时序文本特征和所述时序音频特征，得到第一融合特征，融合所述时序文本特征和所述时序图像特征，得到第二融合特征，融合所述时序音频特征和所述时序图像特征，得到第三融合特征。

2.如权利要求1所述的人物情绪识别方法，其特征在于，所述从所述多个时刻下的多种待识别信息中，提取当前时刻下的多种识别信息，并从所述多种识别信息中提取多种识别特征，包括：

从所述多个时刻下的文本信息中，提取所述目标人物对应的目标文本信息，并确定所述目标文本信息的文本长度；所述多个时刻下的文本信息包括多个人物之间进行对话生成的文本信息，所述多个人物包括所述目标人物；

确定所述目标文本信息中，属于所述目标人物在当前时刻下的第一文本；

根据所述目标文本信息及其文本长度、所述第一文本，提取所述第一文本的第一文本特征。

3.如权利要求2所述的人物情绪识别方法，其特征在于，所述预设的时序模型包括预设的第一时序模型，所述将所述多种识别特征输入至预设的时序模型中，得到多种时序特征，包括：

获取在所述多个时刻下所述目标人物在所述当前时刻之前对应的多个第二文本，并提取所述多个第二文本的多个第二文本特征；

获取在所述多个时刻下非目标人物在所述当前时刻之前对应的多个第三文本，并提取所述多个第三文本的多个第三文本特征；

将所述第一文本特征、所述多个第二文本特征以及所述多个第三文本特征输入至预设的第一时序模型中，得到时序文本特征。

4.如权利要求3所述的人物情绪识别方法，其特征在于，

所述融合所述多种时序特征得到融合特征，包括：

获取所述时序文本特征对应的文本权重值，获取所述时序音频特征对应的音频权重值以及获取所述时序图像特征对应的图像权重值；

根据所述时序文本特征、所述文本权重值、所述时序音频特征以及所述音频权重值，计算所述第一融合特征的第一融合权重值，根据所述时序文本特征、所述文本权重值、所述时序图像特征以及所述图像权重值，计算所述第二融合特征的第二融合权重值，以及根据所述时序音频特征、所述音频权重值、所述时序图像特征以及所述图像权重值，计算所述第三融合特征的第三融合权重值；

基于所述第一融合权重值、所述时序文本特征、以及所述时序音频特征得到第一融合特征，基于所述第二融合权重值、所述时序文本特征、以及所述时序图像特征得到第二融合特征，以及基于所述第三融合权重值、所述时序音频特征、以及所述时序图像特征得到第三融合特征。

5.如权利要求1或4所述的人物情绪识别方法，其特征在于，所述预设的时序模型还包括预设的第二时序模型，所述根据所述融合特征识别所述当前时刻下目标人物的情绪，包括：

将所述当前时刻下的所述第一融合特征、所述第二融合特征以及所述第三融合特征，输入至第二时序模型中，获得目标融合特征；

根据所述目标融合特征识别所述当前时刻下的目标人物的情绪。

6.如权利要求5所述的人物情绪识别方法，其特征在于，在根据所述融合特征识别所述当前时刻下目标人物的情绪之后，还包括：

将所述当前时刻下目标人物的情绪识别结果上传至区块链中。