[发明专利]一种数字虚拟人交互系统及其计算传输优化方法

权利要求书

1.一种数字虚拟人交互系统，其特征在于，包括：

可视化大屏，其用于展示虚拟人形象以及图表、文字数据；所述的图表、文字数据根据虚拟人形象的表达内容进行匹配更新；

RTSP服务器集群，其由若干RTSP服务器构成，用于为可视化大屏提供音视频媒体流，所述的音视频媒体流包括用于驱动虚拟人形象的肢体、五官动作视频和相对应的音频；

代理服务器，其连接在可视化大屏与RTSP服务器集群之间，用于转发RTSP服务器生成的实时音视频媒体流，以及用于提供自身存储的本地音视频媒体流至可视化大屏；所述的代理服务器实时监督可视化大屏的交互状态，当可视化大屏处于交互状态时，利用负载均衡器从RTSP服务器集群中选中并连接一台RTSP服务器；当可视化大屏处于非交互状态时，断开与RTSP服务器的连接，利用可视化大屏播放代理服务器中存储的本地音视频媒体并展示相对应的图表、文字数据；

用户客户端，其用于连接可视化大屏并实现与可视化大屏中虚拟人的交互。

2.根据权利要求1所述的数字虚拟人交互系统，其特征在于，所述的RTSP服务器集群中还包括：

语音收集模块，其用于获取用户提问的语音音频；

文本转换模块，其用于将用户的语音音频转换为文字语句；

意图识别模块，其用于根据意图识别模型获取文字语句所对应的意图；

对话知识库，其存储有不同意图的问题所对应的答案，用于接收识别到的意图并输出最佳答案；

TTS模块，其用于将对话知识库输出的答案转换为音频；

虚拟人动作合成模块，其用于根据答案对应的音频数据拟合虚拟人的肢体动作和五官动作，生成与音频内容相匹配的虚拟人形象视频。

3.根据权利要求2所述的数字虚拟人交互系统，其特征在于，所述的RTSP服务器集群连接外部资源数据库，当对话知识库输出答案的同时，从外部资源数据库中获取对应该答案的图表、文字数据，与音频和视频一同输出至可视化大屏进行展示。

4.根据权利要求2所述的数字虚拟人交互系统，其特征在于，所述的用户提问的语音音频通过用户客户端上的麦克风收集。

5.根据权利要求1所述的数字虚拟人交互系统，其特征在于，所述的用户客户端通过小程序或APP扫描可视化大屏上的二维码，实现用户客户端与可视化大屏的连接。

6.根据权利要求5所述的数字虚拟人交互系统，其特征在于，所述的客户端上实时同步可视化大屏上展示的图表、文字数据。

7.一种基于权利要求3所述的数字虚拟人交互系统的计算传输优化方法，其特征在于，包括以下步骤：

步骤一：用户客户端连接可视化大屏，请求与可视化大屏进行交互，并利用客户端自身的麦克风收集用户提问的语音音频；

步骤二：代理服务器监督到可视化大屏处于交互状态，利用负载均衡器从RTSP服务器集群中选择其中一台RTSP服务器进行连接，将用户提问的语音音频传输至语音收集模块，再经文本转换模块得到用户提问的文字语句；将文字语句作为意图识别模块的输入，根据意图识别结果从对话知识库中检索到最佳答案，并获取最佳答案对应的图表和/或文字数据；

之后，利用TTS模块实现文字到语音的转换，以及利用虚拟人动作合成模块拟合虚拟人的肢体动作和五官动作，生成与音频内容相匹配的虚拟人形象视频；

步骤三：代理服务器将音视频流、以及图表和/或文字数据传回可视化大屏，驱动虚拟人形象进行表达，同时展示对应的表达内容。

8.根据权利要求7所述的数字虚拟人交互系统的计算传输优化方法，其特征在于，当用户客户端未连接可视化大屏时，代理服务器监督到可视化大屏处于非交互状态，此时代理服务器将本地的音视频流及对应的图表和/或文字数据的RTSP URL地址返回给可视化大屏，可视化大屏通过RTSP URL地址获取本地资源进行播放。

9.根据权利要求7所述的数字虚拟人交互系统的计算传输优化方法，其特征在于，若干个可视化大屏共享一个RTSP服务器集群。

10.根据权利要求7所述的数字虚拟人交互系统的计算传输优化方法，其特征在于，当步骤二中连接的RTSP服务器宕机后，立即利用负载均衡器从RTSP服务器集群中选择其中另一台RTSP服务器进行切换。