[发明专利]基于数字人多模态交互信息标准的智能交互方法

说明书

本发明公开了基于数字人多模态交互信息标准的智能交互方法，该智能交互方法具体包括如下步骤：获取人机界面的交互信息；基于多模态融合的信息识别；应用系统的交互处理与业务处理；数字人的多模态信息的合成；输出多模态的人机交互信息，本发明对不同模态获取通道所得到的信息交互数据进行综合利用，整合为多模态的行为特征，最终得到符合多模态交互的信息标准的统一语义描述，从而全面理解用户的真实意图，从而减少了人机在信息交互过程中的隔阂，丰富了交互的内容，营造了和谐的人机交互环境，提高了人机交互过程中的自然性和高效性，推动人机智能交互走向新的高度。

技术领域

本发明涉及人机智能交互技术领域，具体为基于数字人多模态交互信息标准的智能交互方法。

背景技术

人-机交互技术为人与计算机之间的信息交流架起一座桥梁，而多模态人机交互结合多个模态的信息使其充分发挥各自的优势，更加全面准确地表达用户的意图，从而使人与计算机的交互环境将顺从人类的习惯，实现“以人为中心”的人-机交互，模态是一种生物学概念，即生物凭借感知器官与经验来接收信息的通道，人类有视觉、听觉、触觉、味觉和嗅觉模态，多模态是指将多种感官进行融合，而多模态交互是指人通过声音、肢体语言、信息载体、环境等多个通道与计算机进行交流，充分模拟人与人之间的交互方式，多模态交互包括了视觉、听觉、嗅觉、触觉以及味觉等方面的感官交互，也就是通过眼睛、耳朵、鼻子、嘴巴以及皮肤触摸实现，其技术应用在实际生活中也是围绕这些感官进行设计，将多个感官的交互技术融合在一起，形成一种多模态的交互形式；

而传统的模态交互方式主要通过分别提取单一的模态行为特征来进行单独处理，从而无法实现对用户的多模态交互信息进行统一的以多模态的方式进行综合分析和交互，降低了人机交互的便利性，也抑制了人机之间便捷交互的发展，并且，目前在人机进行多模态信息交互的过程中，由于人机之间需要通过多通道来进行信息的输入和传输，因此在面对多通道信息传输过程中，因无法对人机交互中的多种通道信息进行整合统一处理，使得多组通道传递的数据信息无法以统一的规范标准进行传输，进而增大了多通道信息数据传输的便利性，增大了后续信息处理设备的处理难度。

发明内容

本发明提供基于数字人多模态交互信息标准的智能交互方法，可以有效解决上述背景技术中提出传统的模态交互方式主要通过分别提取单一的模态行为特征来进行单独处理，从而无法实现对用户的多模态交互信息进行统一的以多模态的方式进行综合分析和交互，降低了人机交互的便利性，也抑制了人机之间便捷交互的发展，并且，目前在人机进行多模态信息交互的过程中，由于人机之间需要通过多通道来进行信息的输入和传输，因此在面对多通道信息传输过程中，因无法对人机交互中的多种通道信息进行整合统一处理，使得多组通道传递的数据信息无法以统一的规范标准进行传输，进而增大了多通道信息数据传输的便利性，增大了后续信息处理设备的处理难度的问题。

为实现上述目的，本发明提供如下技术方案：基于数字人多模态交互信息标准的智能交互方法，通过对不同模态的信息交互数据进行综合利用，重新整合为多模态的行为特征，最终得到符合多模态交互的信息标准的统一语义描述，完成信息交互；

该智能交互方法具体包括如下步骤：

S1、获取人机界面的交互信息；

S2、基于多模态融合的信息识别；

S3、应用系统的交互处理与业务处理；

S4、数字人的多模态信息的合成；

S5、输出多模态的人机交互信息。

根据上述技术方案，建立统一的数据规范标准是指将人机交互过程中的多种模态交互信息输入通道内所获取的交互信息整合为统一的数据规范标准，通过确定规范的传输数据标准，来使人机在多模态交互过程中的传递信息能够被及时有效的进行传输和交互使用，避免交互信息数据在传输过程中因标准不同，导致数据传输产生困阻，在正常交互之前，需建立统一的数据规范标准。