[发明专利]一种基于故障现场的实时远程培训方法及系统

权利要求书

1.一种基于故障现场的实时远程培训方法，其特征在于，包括：

利用故障现场端的AR设备实时采集故障现场信息和AR知识信息；

根据所述故障现场信息生成3D数字孪生影像；将所述AR知识信息与所述故障现场信息进行实时结合，得到自然交互信息；

运用VSLAM算法构建故障现场地图；

将所述3D数字孪生影像、所述自然交互信息和所述稀疏点云地图传输至远程培训端的AR设备；

远程培训端的AR设备根据所述稀疏点云地图，在所述远程培训端的现场实时显示所述3D数字孪生影像和所述自然交互信息。

2.根据权利要求1所述的基于故障现场的实时远程培训方法，其特征在于，所述利用故障现场端的AR设备实时采集故障现场信息和AR知识信息，具体为：

利用所述AR设备的深度感知相机传感器和RBG相机传感器实时扫描故障现场，得到故障现场信息，所述信息包括故障现场环境的深度信息和颜色信息；

利用所述AR设备实时识别手部姿势和语音内容，得到AR知识信息。

3.根据权利要求2所述的基于故障现场的实时远程培训方法，其特征在于，所述AR知识信息还包括基于故障现场环境的AR空间标注、基于故障现场环境的空间锚点标注以及loT设备参数。

4.根据权利要求2所述的基于故障现场的实时远程培训方法，其特征在于，还包括：

利用5G网络技术，将所述3D数字孪生影像、所述自然交互信息和所述稀疏点云地图传输至远程培训端的AR设备。

5.根据权利要求2所述的基于故障现场的实时远程培训方法，其特征在于，还包括：

远程培训端可利用AR设备与故障现场端进行实时语音交互和AR知识信息交互。

6.根据权利要求2所述的基于故障现场的实时远程培训方法，其特征在于，还包括：

所述3D数字孪生影像、所述自然交互信息和所述稀疏点云地图可同时传输至远程培训端的多个AR设备。

7.一种基于故障现场的实时远程培训系统，其特征在于，包括：

采集单元，用于利用故障现场端的AR设备实时采集故障现场信息和AR知识信息；

构建单元，用于根据所述故障现场信息生成3D数字孪生影像；将所述AR知识信息与所述故障现场信息进行实时结合，得到自然交互信息；运用VSLAM算法构建故障现场地图；

传输单元，用于将所述3D数字孪生影像、所述自然交互信息和所述稀疏点云地图传输至远程培训端的AR设备；

培训单元，用于远程培训端的AR设备根据所述稀疏点云地图，在所述远程培训端的现场实时显示所述3D数字孪生影像和所述自然交互信息。

8.根据权利要求7所述的基于故障现场的实时远程培训系统，其特征在于，还包括：

远程培训端可利用AR设备与故障现场端进行实时语音交互和AR知识信息交互。

9.根据权利要求7所述的基于故障现场的实时远程培训系统，其特征在于，还包括：

所述3D数字孪生影像、所述自然交互信息和所述稀疏点云地图可同时传输至远程培训端的多个AR设备。

10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时，实现如权利要求1至6任一项所述的方法。