[发明专利]基于多模态交互的虚拟偶像演绎数据处理方法及系统

说明书

本申请提供的基于多模态交互的虚拟偶像演绎数据处理方法及系统，其中，所述方法包括获取多模态输入数据，将所述多模态输入数据输入预先建立的深度学习模型中进行匹配，得到多模态输出数据，输出所述多模态输出数据，并由所述虚拟偶像演绎；从而实现在当前虚拟偶像演绎技能开启的情况下，通过云端服务器解析技能数据，并决策多模态输出数据。所述多模态输出数据由所述虚拟偶像通过成像设备进行展示，使得所述虚拟偶像的演绎具备实时性，以及演绎数据与技能内容具备对应性，用户也可以享受个性化流畅体验，人机交互效果好。

技术领域

本申请涉及人工智能技术领域，特别涉及基于多模态交互的虚拟偶像演绎数据处理方法及系统、虚拟偶像、成像设备及计算机可读存储介质。

背景技术

随着科学技术的不断发展，机器人的发展也由工业领域，逐渐扩展到了医疗、保健、家庭、娱乐以及服务行业等领域。人们对机器人的智能要求不断的提高以便其更好地为人类服务。

机器人包括具备实体的实体机器人和搭载在硬件设备上的虚拟机器人。现有技术中的虚拟机器人只能通过对其编程，完成部分预设动作，智能程度较低。

当前，虚拟机器人的多模态交互及技能输出不具备实时性，以及演绎数据与技能内容不具备对应性，并且虚拟机器人也无法实现逼真、流畅、拟人的效果，人机交互效果差。

发明内容

有鉴于此，本申请提供基于多模态交互的虚拟偶像演绎数据处理方法及系统、虚拟偶像、成像设备及计算机可读存储介质，以解决现有技术中存在的技术缺陷。

本申请实施例公开了一种基于多模态交互的虚拟偶像演绎数据处理方法，所述虚拟偶像在移动设备运行并由成像设备投影呈现，且所述虚拟偶像具备预设形象特征和预设属性，所述方法包括：

判断当前虚拟偶像是否处于技能输出状态；

若是，根据获取的当前技能数据以及所述技能对应的内容参数，决策多模态输出数据，所述多模态输出数据中的演绎数据由所述虚拟偶像展示。

可选地，所述多模态输出数据中的演绎数据由所述虚拟偶像展示包括：

基于所述多模态输出数据，所述虚拟偶像输出肢体动作、与情感信息匹配的口型和/或面部表情。

可选地，所述方法还包括：

所述移动设备根据当前所述多模态输出数据，控制所述成像设备输出所述虚拟偶像演绎及配合所述虚拟偶像演绎的组件功能开启信号。

可选地，所述方法还包括：

获取当前虚拟偶像的情感数据，当所述虚拟偶像处于技能输出状态时，匹配所述情感数据输出多模态输出数据。

可选地，当所述演绎数据为舞蹈数据时，根据获取的当前技能数据以及所述技能对应的内容参数，决策多模态输出数据的步骤包括：

实时获取舞蹈配乐；

提取所述舞蹈配乐的声学特征；

将所述声学特征输入到预先建立的深度学习模型中，输出与所述声学特征匹配的舞蹈动作。

可选地，所述深度学习模型通过如下步骤进行构建：

采集带有声乐特征的舞蹈以及舞蹈配乐；

将所述带有声乐特征的舞蹈的动作与所述舞蹈配乐的声学特征进行匹配，生成训练数据样本；

根据所述训练数据样本训练所述深度学习模型得到最终的深度学习模型。

另一方面，本申请还提供了一种基于多模态交互的虚拟偶像演绎数据处理系统，包括移动设备、成像设备和云端服务器，所述虚拟偶像在所述移动设备运行并由成像设备投影呈现，且所述虚拟偶像具备预设形象特征和预设属性，其中：