[发明专利]数字人应用系统、应用方法、计算机设备以及存储介质

说明书

本申请涉及一种数字人应用系统、应用方法、计算机设备以及存储介质。通过获取多模态交互请求，并将多模态交互请求通过WebSocket协议透传发送至对应的数字人服务端，接收数字人服务端返回的渲染播放内容，进而将渲染播放内容透传发送给对应的H5页面。由于在多模态交互过程中的数据采集、处理以及传输等均使用原生实现，因此，可以更好地完成对多模态中的音视频信号的处理，为多模态音视频交互提供了必要支撑；又由于多模态信号的融合与处理，通过后端服务完成，从而保证了采用Hybrid架构实现多模态音视频交互的性能，摆脱了对特定硬件资源、平台的限制，能够给用户提供耳目一新的多模态音视频交互体验。

技术领域

本申请涉及软件技术领域，特别是涉及一种数字人应用系统、应用方法、计算机设备以及存储介质。

背景技术

SDK(Software Development Kit，软件开发工具包)是为辅助开发某类软件而编写的特定软件包，框架集合等，SDK一般包含相关文档、范例和工具。SDK可以分为系统SDK和应用SDK。所谓系统SDK是为特定的软件包、软件框架、硬件平台或操作系统等应用时所使用的开发工具集合。而应用SDK则是基于系统SDK开发的独立于具体业务而具有特定功能的集合。

传统技术中，为集成数字人应用系统，可以通过H5加载数字人应用，以对外提供数字人服务。还可以通过提供数字人应用SDK的方式，从而方便更多的场景、终端集成使用。而对于构建数字人应用SDK有以下几种常见的方式：一种是纯原生实现，即针对不同的场景、不同的硬件设备、系统，进行特定的定制。另外一种，则是采用目前一些跨端技术框架比如flutter(是开源的构建用户界面的工具包)、RN(React Native，一种移动端开发组件)等进行跨端开发。第三种则是基于Hybrid架构构建。

然而，采用H5方式加载数字人应用，对浏览器有特定的要求，有众多浏览器不兼容。其次，采用H5的方式对数字人的交互体验影响较大，并且可定制可修改性较小，除非修改浏览器底层。最后采用H5的方式加载数字人应用，对数字人应用场景、终端都有很大的限制，不利于数字人应用系统业务、场景、终端上的快速推进。

而从SDK的构建方法来看，原生SDK，又存在以下几大问题。第一，开发成本高，尤其是当需要多种移动设备来测试时；第二，不同的开发语言下，开发、维护成本高；第三，上线的审核流程及发布上线时间不确定；第四，获得新版本时需要重新下载应用更新；第五，前端页面的展示上，由于各个终端都有各自的原生view(图形显示)组件，因此无法对各终端做到体验一致。而基于跨端的一些技术框架构建的SDK，对于重交互的数字人SDK来说性能受限，且目前一些跨端框架社区不够完善，自己需造轮子，虽可实现跨端，但实际的开发、测试、维护成本更高。

而随着当前金融科技的迅速发展，金融业务场景众多，数字人的应用场景更是纷繁复杂。对于不同的终端设备，比如手机、VTM(Video Teller Machine，远程视频柜员机)、座舱、大屏、PAD(平板电脑)、iPAD(IOS系统的平板电脑)等，系统又需要兼顾Android和IOS。因此，目前亟需一种能够更好的适应业务场景及终端需求的数字人应用系统。

发明内容

基于此，有必要针对上述技术问题，提供一种能够更好的适应业务场景及终端需求的数字人应用系统、应用方法、装置、计算机设备、计算机可读存储介质和计算机程序产品。

一种数字人应用系统，所述系统基于Hybrid模式架构，所述系统包括：

数字人SDK，用于将底层数字人应用能力封装成SDK，以提供底层应用涉及的通用能力；

H5层，用于负责业务的逻辑控制以及对应的资源展现；

业务层SDK，用于进行通信，实现所述数字人SDK、H5层以及客户端应用程序之间的数据传输，所述客户端应用程序为具有集成需求的应用程序。

在其中一个实施例中，所述H5层包括针对不同业务场景基于vue.js定制的资源展现页面。