[发明专利]多谱段增强现实深水检修可视化专家系统

权利要求书

1.一种多谱段增强现实深水检修可视化专家系统，其特征在于，包括：多谱段机器视觉水下成像子系统、3D场景增强现实子系统与视频专家指挥子系统，其中，

所述多谱段机器视觉水下成像子系统用于采集复杂深水条件下的水库堤坝周围环境信号，并对所述环境信号进行模拟-数字信号转换，对转换后得到的环境数据进行深度学习和图像处理以实时生成深水堤坝的水下影像数据，并将所述深水堤坝的水下影像数据和环境数据发送至所述3D场景增强现实子系统和视频专家指挥子系统；其中，所述多谱段机器视觉水下成像子系统，包括：供电模块、与所述供电模块连接的360°图像采集模块、信号转换模块、微处理器、定位模块、第一无线通信模块和第四无线通信模块，其中，

所述360°图像采集模块用于采集当前深水条件下的水库堤坝周围环境信号；所述360°图像采集模块包括：

多谱段波长收发装置，与所述信号转换模块的输入端相连，用于实现多谱段波长信号的接收和发送，并传输至所述信号转换模块；

声呐，与所述信号转换模块的输入端相连，用于进行水下导航定位，并将超声波定位信号传输至所述信号转换模块；

测量传感器组件，与所述信号转换模块的输入端相连，用于采集当前深水条件下的图像信号和环境状态信号，并传输至所述信号转换模块；

所述信号转换模块的输入端与所述360°图像采集模块的输出端连接，用于将来自所述360°图像采集模块的环境信号，进行模拟-数字AD转换，生成数字信号形式的环境数据，进而转发至所述微处理器；

所述定位模块用于获取所述多谱段机器视觉水下成像子系统的当前位置信息，并发送至所述微处理器；

所述微处理器与所述信号转换模块和所述定位模块连接，用于接收来自定位模块的当前位置信息，以及对来自所述信号转换模块的环境数据，采用深度学习和图像处理的方式，实时生成深水堤坝的水下影像数据，并通过所述第一无线通信模块转发至所述3D场景增强现实子系统，通过所述第四无线通信模块转发至所述视频专家指挥子系统；

所述3D场景增强现实子系统与所述多谱段机器视觉水下成像子系统连接，用于对所述深水堤坝的水下影像数据构建3D场景图像，并将构建的3D场景图像与所述环境数据中的多种水下信息进行增强现实处理，实现图像融合，生成3D增强现实融合图像；其中，所述3D场景增强现实子系统包括：3D增强现实系统平台、图像处理模块、全景成像软件模块、3D重建软件模块、视频字符叠加OSD信息叠加软件模块和第二无线通信模块，其中，

所述第二无线通信模块与所述多谱段机器视觉水下成像子系统的第一无线通信模块连接，用于接收所述深水堤坝的水下影像数据和环境数据，并发送至所述图像处理模块；

所述图像处理模块的输入端与所述第二无线通信模块的输出端连接，用于对所述深水堤坝的水下影像数据进行图像处理，并将处理后的深水堤坝的水下影像数据发送至所述全景成像软件模块；

所述全景成像软件模块用于生成深水堤坝的水下全景图像数据，并发送至所述3D重建软件模块；

所述3D重建软件模块用于根据深水堤坝的水下全景图像数据进行3D场景构建，并将构建后的3D场景图像发送至所述3D增强现实系统平台；

所述3D增强现实系统平台与所述3D重建软件模块和OSD信息叠加软件模块连接，用于将构建的3D场景图像与所述环境数据中的多种水下信息进行增强现实处理，通过OSD信息将环境数据融合到3D场景图像中，实现图像融合，生成3D增强现实融合图像；

所述视频专家指挥子系统与所述多谱段机器视觉水下成像子系统和所述3D场景增强现实子系统连接，用于远程控制管理所述多谱段机器视觉水下成像子系统，以及根据深水堤坝的水下影像数据、环境数据和3D增强现实融合图像，实时计算判断深水堤坝的病害类型，发布预警信息，生成对检修工作的指挥决策；所述视频专家指挥子系统包括：视频专家系统平台控制终端、3D增强现实系统平台、数据分析处理模块、数据存储服务器和预测预警发布模块，其中，

所述视频专家系统平台控制终端接收来自所述3D增强现实系统平台的3D增强现实融合图像，发送至所述数据分析处理模块进行处理分析；

所述数据分析处理模块用于对3D增强现实融合图像进行分析，并将分析结果存储在数据存储服务器中；

所述数据存储服务器将分析结果进一步发送至所述视频专家系统平台控制终端；

所述视频专家系统平台控制终端根据深水堤坝的水下影像数据、环境数据和3D增强现实融合图像，实时计算判断深水堤坝的病害类型，发布预警信息，生成对检修工作的指挥决策；

所述预测预警发布模块的用于接收来自所述视频专家系统平台控制终端的预警信息并对外发布。