[发明专利]一种处理多模态数据的方法及装置、机器人

说明书

一种处理多模态数据的方法，获取深度图像，根据所述深度图像获取各个用户的空间位置信息；获取音频数据，从所述音频数据中提取出不同用户的声纹特征信息，根据所述声纹特征信息对说话人进行定位，获取相应用户的声场定位信息；将所述空间位置信息与所述声场定位信息进行关联，将不同用户的声纹特征信息与相应用户进行关联。还提供了一种处理多模态数据的装置及机器人。本实施例的方法通过多模态数据的融合，综合决策，提升感知和交互效果，可以为线上模型决策提供更多的信息，从而提高了决策总体结果的准确率。

技术领域

本发明涉及数字处理领域，特别是涉及一种处理多模态数据的方法及装置、机器人。

背景技术

随着计算机技术，传感技术，人工智能技术的发展，机器人得到了迅速发展，机器人开始走进了人类日常生活。基于机器人与人行为交互的自主性、友好性等重要特征，机器人的感知与交互系统设计受到了越来越多的关注。机器人与人的实时交互依赖机器人对人的实时感知，目前市面上的交互类机器人，如智能音箱等，主要通过孤立的文字、语音和图像等信息分别对用户进行感知，无法将人的多种交互数据进行有效融合、分析，缺乏对用户表达信息的理解深度，无法真正做到人类的“察言观色”。尤其是在多人同时交互的复杂场景下，更是无法有效分割不同人的交互上下文信息，实现同时感知多用户，并基于不同用户的上下文信息进行智能、并发交互。

发明内容

本发明要解决的技术问题是提供一种处理多模态数据的方法及装置、机器人，以实现基于不同用户的上下文信息进行智能、并发交互。

为了解决上述技术问题，本发明提供了一种处理多模态数据的方法，包括：

获取深度图像，根据所述深度图像获取各个用户的空间位置信息；

获取音频数据，从所述音频数据中提取出不同用户的声纹特征信息，根据所述声纹特征信息对说话人进行定位，获取相应用户的声场定位信息；

将所述空间位置信息与所述声场定位信息进行关联，将不同用户的声纹特征信息与相应用户进行关联。

可选地，所述获取深度图像的同时，实时获取二维视频数据，从所述二维视频数据中提取各个用户的情绪特征；从所述深度图像中提取各个用户的三维肢体关键点特征；

分别将各个用户的所述情绪特征和所述三维肢体关键点特征进行融合处理，获得各个用户的行为特征，根据所述行为特征感知用户的行为交互意图。

可选地，所述获取音频数据后还包括：

从所述音频数据中获取语音识别文本数据，基于深度学习算法根据不同用户交互的所述语音识别文本数据，获得各个用户的语义特征；

对所述行为特征和所述语义特征进行融合处理，根据整合处理结果感知用户的意图。

可选地，所述实时获取二维视频数据的过程中包括：对检测到的用户进行跟踪，获取各个用户的轨迹信息；

当根据所述轨迹信息判定满足靠近趋势时，触发播放预定语料。

可选地，对指定范围内的一个或多个用户的所述行为特征、所述语义特征、用户属性和所述轨迹信息进行融合；

根据融合后生成的特征触发相应的语料进行播放。

一种处理多模态数据的装置，包括：

第一获取模块，用于获取深度图像，根据所述深度图像获取各个用户的空间位置信息；

第二获取模块，用于获取音频数据，从所述音频数据中提取出不同用户的声纹特征信息，根据所述声纹特征信息对说话人进行定位，获取相应用户的声场定位信息；

处理模块，用于将所述空间位置信息与所述声场定位信息进行关联，将不同用户的声纹特征信息与相应用户进行关联。