[发明专利]一种处理多模态数据的方法及装置、机器人

权利要求书

1.一种处理多模态数据的方法，包括：

获取深度图像，根据所述深度图像获取各个用户的空间位置信息；包括：通过深度摄像头输出深度图像，所述深度图像指3D数据；基于深度图像对人体深度图像进行分割；获取人体上半身深度图像，并获取上半身深度图像上的凸包点；结合二维坐标选择纵坐标最高的凸包点作为用户的空间位置点，并通过三维坐标转换获取用户的空间位置坐标，进而得到用户的空间位置信息；

获取音频数据，从所述音频数据中提取出不同用户的声纹特征信息，根据所述声纹特征信息对说话人进行定位，获取相应用户的声场定位信息；

将所述空间位置信息与所述声场定位信息进行关联，将不同用户的声纹特征信息与相应用户进行关联；

所述获取深度图像的同时，实时获取二维视频数据，从所述二维视频数据中提取各个用户的情绪特征；从所述深度图像中提取各个用户的三维肢体关键点特征；

分别将各个用户的所述情绪特征和所述三维肢体关键点特征进行融合处理，获得各个用户的行为特征，根据所述行为特征感知用户的行为交互意图；

从所述音频数据中获取语音识别文本数据，基于深度学习算法根据不同用户交互的所述语音识别文本数据，获得各个用户的语义特征；

对所述行为特征和所述语义特征进行融合处理，根据整合处理结果感知用户的意图。

2.如权利要求1所述的方法，其特征在于：

所述实时获取二维视频数据的过程中包括：对检测到的用户进行跟踪，获取各个用户的轨迹信息；

当根据所述轨迹信息判定满足靠近趋势时，触发播放预定语料。

3.如权利要求2所述的方法，其特征在于：

对指定范围内的一个或多个用户的所述行为特征、所述语义特征、用户属性和所述轨迹信息进行融合；

根据融合后生成的特征触发相应的语料进行播放。

4.一种处理多模态数据的装置，包括：

第一获取模块，用于获取深度图像，根据所述深度图像获取各个用户的空间位置信息；包括：通过深度摄像头输出深度图像，所述深度图像指3D数据；基于深度图像对人体深度图像进行分割；获取人体上半身深度图像，并获取上半身深度图像上的凸包点；结合二维坐标选择纵坐标最高的凸包点作为用户的空间位置点，并通过三维坐标转换获取用户的空间位置坐标，进而得到用户的空间位置信息；

第二获取模块，用于获取音频数据，从所述音频数据中提取出不同用户的声纹特征信息，根据所述声纹特征信息对说话人进行定位，获取相应用户的声场定位信息；

处理模块，用于将所述空间位置信息与所述声场定位信息进行关联，将不同用户的声纹特征信息与相应用户进行关联；

所述第一获取模块还用于，从所述深度图像中提取各个用户的三维肢体关键点特征；

第三获取模块用于，实时获取二维视频数据，从所述二维视频数据中提取各个用户的情绪特征；

所述处理模块还用于，分别将各个用户的情绪特征和三维肢体关键点特征进行融合处理，获得各个用户的行为特征；根据所述行为特征感知用户的行为交互意图；

所述第二获取模块还用于，从所述音频数据中获取语音识别文本数据，基于深度学习算法根据不同用户交互的语音识别文本数据获得各个用户的语义特征；

所述处理模块还用于，对所述行为特征和所述语义特征进行融合处理，根据整合处理结果感知用户的意图。

5.如权利要求4所述的装置，其特征在于：

所述第三获取模块还用于，在实时获取二维视频数据的过程中，对检测到的用户进行跟踪，获取各个用户的轨迹信息；

所述处理模块还用于，对指定范围内的一个或多个用户的所述行为特征、所述语义特征、用户属性和所述轨迹信息进行融合；根据融合后生成的特征触发相应的语料进行播放。

6.一种机器人，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1-3任一项所述的一种处理多模态数据的方法。

7.一种存储介质，其特征在于，所述存储介质存储有计算机程序，所述计算机程序被处理器执行时实现权利要求1-3中任一所述的方法。