[发明专利]一种基于5G多视角的多人远程协作指导系统

说明书

本发明涉及远程指导技术领域，公开了一种基于5G多视角的多人远程协作指导系统，包括移动视频端、服务器端和指挥中心端，服务器端与移动视频端和指挥中心端通信连接，服务器端包括音视频服务模块、录像存储模块、业务管理模块和交互模块；移动视频端生成三维实时场景视频；指挥中心端用于远程指导人员对现场作业进行远程指导；音视频服务模块用于移动视频端和指挥中心端的三维实时场景视频传输；交互模块共享移动视频端和指挥中心端的三维实时场景视频画面。本发明提供的基于5G多视角的多人远程协作指导系统，通过服务器端与指挥中心端的专家指导人员进行远程的三维实时场景视频通信，能够及时定位作业现场的问题，提高作业现场的问题处理效率。

技术领域

本发明涉及远程指导技术领域，特别涉及一种基于5G多视角的多人远程协作指导系统。

背景技术

一线人员的工作存在着设备多、任务重、操作繁琐、安全合规性要求高等特点，现有的作业监控手段是设立现场监护人员，但受限于现场监护人员及作业人员水平，不能解决所有的现场问题，同时连线专家指导人员只有传统的通讯方式，如电话、微信等，但是无论是电话还是微信，在通讯效果来看都存在效率低下的问题，使得作业现场的问题不能迅速定位，不能直观地为操作人员提供指导，也无法结合作业环境和进展状况实时地提供所需信息。需要多方协作时，受专家及相关人员到场时间、或远程沟通工具等因素的影响，问题处置滞后。

发明内容

本发明提供了一种基于5G多视角的多人远程协作指导系统，在移动视频端建立作业现场的三维实时场景视频，并通过服务器端与指挥中心端的专家指导人员进行远程的三维实时场景视频通信，能够及时定位作业现场的问题，使得专家指导人员能够直观的为作业人员提供指导，提高作业现场的问题处理效率。

本发明提供了一种基于5G多视角的多人远程协作指导系统，包括移动视频端、服务器端和指挥中心端，所述服务器端与所述移动视频端和指挥中心端通信连接，所述服务器端包括音视频服务模块、录像存储模块、业务管理模块和交互模块；

所述移动视频端设置在现场作业人的移动设备上，用于采集作业现场的图像、音频和视频数据，所述移动视频端连接多个视频采集设备，并将多个视频采集设备采集的图像序列视频与作业现场的场景融合生成关于作业现场的三维实时场景视频；

所述指挥中心端设置在远程指导人员的移动设备上，用于所述远程指导人员对现场作业进行远程指导，并与现场作业人员进行互动；

所述音视频服务模块采用基于Go语言的流媒体服务器，用于实现所述移动视频端和指挥中心端的三维实时场景视频传输；

所述录像存储模块用于为指导人员对现场作业人员的远程指导音视频数据添加时间戳，并按所述时间戳对所述远程指导音视频数据进行分类存储；

所述业务管理模块用于所述远程指导人员在远程指导过程中查询作业现场的作业设备的实时运行数据；

所述交互模块用于共享所述移动视频端和指挥中心端的三维实时场景视频画面，并自定义画笔标记，以使所述远程指导人员对所述三维实时场景视频画面的标记实时显示在所述移动视频端上。

进一步地，当所述指挥中心端具有多个时，所述录像存储模块还用于暂时存储所述远程指导人员的指导录像，并在其他远程指导结束后为所述作业人员播放所述指导录像；其中，所述指导录像包括所述远程指导人员对所述视频画面的实时标记。(当指导人员时间紧迫无法等待前面的指导结束时)

进一步地，所述移动视频端将多个视频采集设备采集的图像序列视频与作业现场的场景融合生成关于作业现场的三维实时场景视频包括：对视频采集设备采集的多个视频进行畸变矫正，采用配准算法对视频图像进行分区域配准，根据采集设备和采集环境对视频的色彩进行归一化处理，并行处理拼接根据配准数据表对图像分块映射并进行边缘融合，对拼接后的视频根据作业人员的指令进行整体或分片输出。