[发明专利]一种基于AI数字人的未来社区数字孪生管理系统

权利要求书

1.一种基于AI数字人的未来社区数字孪生管理系统，其特征在于：包括AI数字人以及运行于未来社区中控室大屏上的数字孪生运营模块、数字人引擎模块和云处理模块；

数字孪生运营模块与数字人引擎模块信号连接；数字人引擎模块与云处理模块信号连接；数字孪生运营模块将业务指令通过数字人引擎模块上传至云处理模块；云处理模块将业务反馈通过数字人引擎模块上传至数字孪生运营模块；

数字孪生运营模块包括数据面板模块、AI数字人参数配置模块、可视化3D引擎模块和开放接口模块；

数据面板模块通过Web数据图表综合展示未来社区各场景的人、空间、设备和事务数据；

AI数字人参数配置模块通过低代码的参数调节面板调整AI数字人的基础配置；数据人参数配置模块可内嵌在可视化3D引擎模块内使用；

可视化3D引擎模块用于提供数字孪生场景空间渲染以及高清晰度和高仿真性的物理渲染；

开放接口模块用于整合可视化3D引擎模块的交互能力生成前端Web页面的开放调用接口，开放调用接口和数据面板模块共同组合提供的上层调用接口包含在开放接口模块中；

数字人引擎模块包括肢体引擎模块、面部表情引擎模块、AI视觉引擎模块、技能配置引擎模块和知识图谱引擎模块；

肢体引擎模块用于管理AI数字人肢体动作参数；

面部表情引擎模块用于管理AI数字人面部表情；

AI视觉引擎模块用于人脸识别、表情识别、物体检测和语义分割；

技能配置引擎模块用于提供AI数字人的对话策略和对话能力；技能配置引擎模块包括对话式系统、FAQ系统、结构化文档、非结构化文档；

知识图谱引擎模块为数字人引擎模块的知识数据库；

云处理模块包括物联网loT中台、NLP算法训练中台和消息调度中台；

物联网loT中台用于管控未来社区内的物联设备；

消息调度中台为消息通信中台，用于物联、上层应用和系统指令的消息传递分发；

NLP算法训练中台用于为技能配置引擎模块提供NLP核心算法。

2.根据权利要求1所述的一种基于AI数字人的未来社区数字孪生管理系统，其特征在于：业务反馈包括但不限于数据计算、算法预测结果输出和音频合成驱动。

3.根据权利要求1所述的一种基于AI数字人的未来社区数字孪生管理系统，其特征在于：肢体引擎模块中内置20个预置肢体动画骨骼，可拓展定制动画骨骼和动捕设备的骨骼动画数据，兼容fbx、bvh格式。

4.根据权利要求1所述的一种基于AI数字人的未来社区数字孪生管理系统，其特征在于：面部表情引擎模块可兼容以下两种输入方式：

（1）、语音文件驱动面部特征点运动模式；语音文件驱动通过语音Sequence2Sequence算法解析输出语言学通用音子，音子对应通用的表情运动特征，以口型为主，通过归类计算灵活调用适合的口型，满足逼真实时的对话任务；

（2）、真人面部动捕数据导入对应运动模式；真人数据输入驱动表情适合用于特定的应用场景，提取真人音频数据的fbank特征、结合deepspeech模块的音频特征提高算法泛化性，开发标准的面部控制器系统，满足有社区IP或特殊人物IP定制的需求。

5.根据权利要求1所述的一种基于AI数字人的未来社区数字孪生管理系统，其特征在于：AI视觉引擎模块支持以下数据输入终端设备：

（1）、大屏配套使用的智能设备，智能设备包括但不限于人脸相机、Ipad、AR眼镜；AI数字人可通过前端设备激活人脸识别，主动发出身份确认的语音问候，同时进行历史数据的调用，人物使用历史日志可以作为知识图谱的历史语料训练数据，深度支撑本轮交互；

（2）、园区安全摄像头；园区安全摄像头用于大范围户外物体的视觉识别工作，主要提供实时海量的多模态训练基础，同时在NLP算法的支撑下实现AI数字人的搜索引擎与推荐对话功能，实时准确的对未来社区内的数字化元素进行检索和搜索。