[发明专利]一种基于5G多视角的多人远程协作指导系统

权利要求书

1.一种基于5G多视角的多人远程协作指导系统，其特征在于，包括移动视频端、服务器端和指挥中心端，所述服务器端与所述移动视频端和指挥中心端通信连接，所述服务器端包括音视频服务模块、录像存储模块、业务管理模块和交互模块；

所述移动视频端设置在现场作业人的移动设备上，用于采集作业现场的图像、音频和视频数据，所述移动视频端连接多个视频采集设备，并将多个视频采集设备采集的图像序列视频与作业现场的场景融合生成关于作业现场的三维实时场景视频；

所述指挥中心端设置在远程指导人员的移动设备上，用于所述远程指导人员对现场作业进行远程指导，并与现场作业人员进行互动；

所述音视频服务模块采用基于Go语言的流媒体服务器，用于实现所述移动视频端和指挥中心端的三维实时场景视频传输；

所述录像存储模块用于为指导人员对现场作业人员的远程指导音视频数据添加时间戳，并按所述时间戳对所述远程指导音视频数据进行分类存储；

所述业务管理模块用于所述远程指导人员在远程指导过程中查询作业现场的作业设备的实时运行数据；

所述交互模块用于共享所述移动视频端和指挥中心端的三维实时场景视频画面，并自定义画笔标记，以使所述远程指导人员对所述三维实时场景视频画面的标记实时显示在所述移动视频端上。

2.根据权利要求1所述的基于5G多视角的多人远程协作指导系统，其特征在于，当所述指挥中心端具有多个时，所述录像存储模块还用于暂时存储所述远程指导人员的指导录像，并在其他远程指导结束后为所述作业人员播放所述指导录像；其中，所述指导录像包括所述远程指导人员对所述视频画面的实时标记。(当指导人员时间紧迫无法等待前面的指导结束时) 。

3.根据权利要求1所述的基于5G多视角的多人远程协作指导系统，其特征在于，所述移动视频端将多个视频采集设备采集的图像序列视频与作业现场的场景融合生成关于作业现场的三维实时场景视频包括：对视频采集设备采集的多个视频进行畸变矫正，采用配准算法对视频图像进行分区域配准，根据采集设备和采集环境对视频的色彩进行归一化处理，并行处理拼接根据配准数据表对图像分块映射并进行边缘融合，对拼接后的视频根据作业人员的指令进行整体或分片输出。

4.根据权利要求3所述的基于5G多视角的多人远程协作指导系统，其特征在于，所述视频采集设备包括分布在多个安装位置的一组或多组摄像头，每组摄像头包括多个高清摄像头，且每组摄像头的数量相同。

5.根据权利要求3所述的基于5G多视角的多人远程协作指导系统，其特征在于，所述配准算法包括：获取参考视频图像A1和待配准视频图像A2，A1(x,y)，A2(x,y)表示位于点(x,y)处像素点的灰度值，图像A1，A2的配准关系表示为：A2(x,y)＝g(A1(f(x,y)))其中，g表示一维的灰度变换函数，f表示二维的几何变换函数。

6.根据权利要求1所述的基于5G多视角的多人远程协作指导系统，其特征在于，所述业务管理模块包括智能识别单元和调取单元，所述只能识别单元用于识别作业现场中作业设备的二维码以提取所述作业设备的信息，所述调取单元用于根据所述作业设备的信息调取所述作业设备的实时运行数据。

7.根据权利要求1所述的基于5G多视角的多人远程协作指导系统，其特征在于，所述远程指导人员的移动设备和现场作业人员的移动设备为能够运行Windows操作系统的移动设备，包括平板电脑、笔记本电脑。