[发明专利]多模态虚拟人的应用数据处理方法和系统

说明书

本发明提供一种多模态虚拟人的应用数据处理方法，其包括以下步骤：唤醒虚拟人，以使虚拟人显示在预设区域内，虚拟人具备特定的性格和属性；获取用户多模态交互数据；调用机器人能力接口解析多模态交互数据，获取针对当前硬件所运行的操作系统的操作指令；向操作系统发出操作请求，以在操作系统上生成操作事件；由操作系统对所述操作请求进行响应作为操作事件的执行结果；以多模态的形式对操作事件的执行结果进行输出展示。本发明提供的多模态虚拟人的应用数据处理方法和系统能够以多模态的形式与用户展开内容详实的交互。并且，还能够在系统层面辅助用户对硬件设备的应用以及功能进行控制，与用户交互的更加丰富，更加多样。

技术领域

本发明涉及人工智能领域，具体地说，涉及一种多模态虚拟人的应用数据处理方法和系统。

背景技术

虚拟人一般指能够与用户完成交互，与用户进行信息交换的信息传递系统。目前的虚拟人虽然能够实现与用户的交互，但是没有虚拟人能够在系统层面，作为助手辅助用户对硬件设备应用及功能进行控制。

因此，急需一种具有在系统层面与用户进行交互的多模态虚拟人的应用数据处理方法和系统。

发明内容

为解决上述问题，本发明提供了一种多模态虚拟人的应用数据处理方法，所述方法包括以下步骤：

唤醒虚拟人，以使所述虚拟人显示在预设区域内，所述虚拟人具备特定的性格和属性；

获取用户多模态交互数据；

调用机器人能力接口解析所述多模态交互数据，获取针对当前硬件所运行的操作系统的操作指令；

向所述操作系统发出操作请求，以在所述操作系统上生成操作事件，其中，所述操作请求与所述虚拟人的性格以及属性有关联；

由所述操作系统对所述操作请求进行响应作为所述操作事件的执行结果；

以多模态的形式对所述操作事件的执行结果进行输出展示。

根据本发明的一个实施例，如权利要求1所述的多模态虚拟人的应用数据处理方法，其特征在于，所述虚拟人通过可执行文件接口接入所述操作系统；

和/或，

与操作系统上安装的应用或文件进行操作权限的设置进行接入。

根据本发明的一个实施例，所述解析包含但不限于：对所述多模态交互数据的语义理解、视觉识别、认知计算以及情感计算。

根据本发明的一个实施例，所述操作请求生成时，所述虚拟人向用户发送确认信息，以确认所述操作请求的准确性。

根据本发明的一个实施例，对所述操作请求进行响应的步骤包括，在所述操作系统获取权限认证的基础上，所述操作系统响应所述操作请求。

根据本发明的一个实施例，以多模态的形式对所述操作事件的执行结果进行输出展示包括文本显示、语音输出、头部动作、肢体动作以及表情的输出。

根据本发明的一个实施例，所述虚拟人通过3D高模构建。

根据本发明的一个实施例，所述方法包括，所述虚拟人在用户输入为零输入时，获取用户当前状态数据，并结合所述操作系统的当前运行状态，并将所述操作系统的应用以及功能向用户进行推荐。

根据本发明的另一个方面，还提供一种存储介质，其上存储有可执行以上任一项所述的方法步骤的程序代码。

根据本发明的另一个方面，还提供一种多模态虚拟人的应用数据处理装置，所述装置包含：

唤醒模块，其用于唤醒虚拟人，以使所述虚拟人显示在预设区域内，所述虚拟人具备特定的性格和属性；

获取模块，其用于获取用户多模态交互数据；