[发明专利]一种基于深度学习和虚拟现实的辅助判断方法

权利要求书

1.一种基于深度学习和虚拟现实的辅助判断方法，其特征在于，

构建虚拟现实环境，选择虚拟对话人物和场景，通过佩戴虚拟现实VR装置及智能穿戴传感器，实现与虚拟现实环境的交互和数据的采集，结合数据，利用来自云数据中心的模型进行预测并作出辅助提示，通过语音识别、文字转换、声音合成、表情生成，在边缘计算节点或工作站实现虚拟现实场景的实时渲染，辅助完成与待实时交互和判断。

2.根据权利要求1所述的方法，其特征在于，

所述的虚拟现实环境是一种计算机生成的模拟环境，包括创建的虚拟场景和虚拟人物；

所述虚拟现实VR装置包括VR头盔、VR数据手套、VR座舱、VR数据皮肤衣、麦克风、立体声扬声器、摄像头等装置，利用VR装置实现视觉、听觉、味觉、嗅觉、触觉与力觉的输入和反馈，完成与虚拟现实环境的交互，其中以VR头盔显示器为核心形成视觉系统，利用麦克风输入语音，通过立体声扬声器感知声音输出，采用摄像头来捕捉外观行为。

3.根据权利要求1所述的方法，其特征在于，

边缘处可选择佩戴VR设备或者采用显示装置两种方式来交互，并支持远程模式。

4.根据权利要求1所述的方法，其特征在于，

所述的智能穿戴传感器检测的数据包括心率、血压、血氧饱和度的健康数据，通过边缘计算节点实时处理，根据需要上传到云数据中心。

5.根据权利要求1所述的方法，其特征在于，

所述的边缘计算节点或工作站具备计算、存储、网络功能，并通过GPU硬件加速实现虚拟现实环境实时渲染，在VR设备所在边缘侧完成虚拟现实环境生成和处理、视觉系统处理、听觉系统处理、交互反馈系统、穿戴数据采集的业务逻辑，同时在边缘侧提供语音识别、语义转化、语音生成、虚拟环境人物表情动作生成、虚拟环境场景和人物推荐、判断预测服务。

6.根据权利要求1所述的方法，其特征在于，

所述的云数据中心聚集大量的计算、存储、网络资源，对边缘计算节点和工作站进行统一管理，提供数据库、数据存储等数据服务，模型训练服务、语音识别、语义分析、文字转换、语音生成、语音动作生成的人工智能服务以及场景模型、人物模型、交互设计、虚拟人物生成的虚拟现实服务，基于数据服务、人工智能及虚拟现实服务构建文字生成语音模型、语义表达转换文字模型、个性化虚拟人物生成模型、虚拟环境场景和人物推荐模型、预测模型以及提示模型，并根据边缘计算节点资源及业务状况推送个性化模型和服务。

7.根据权利要求6所述的方法，其特征在于，

所述的文字生成语音模型采用神经网络模型，根据文字输入来合成输出虚拟人物个性化语音；所述的语义表达转换文字模型采用深度学习自编码器(Auto-Encoder)和生成对抗网络(GAN)技术，将文字进行语义信息识别分析，根据设定人物的用词方式及语言表达习惯，生成符合其用语习惯的文字；

所述的个性化虚拟人物生成模型的核心是神经网络模型，通过对现实世界的人物进行特征提取，并生成虚拟现实环境中的虚拟人物；

所述的虚拟环境场景和人物推荐模型根据数据推荐适合本次辅助判断的虚拟环境场景和人物；

预测模型实时辅助反馈的数据，进行判断预测。