[发明专利]基于多摄像头数据融合的船舶环境感知与预警系统

权利要求书

1.一种基于多摄像头数据融合的船舶环境感知与预警系统，其特征在于，包括：多个视频分析处理模块、数据中心模块和基于多摄像头数据融合的船舶监测与预警服务模块这三个模块构成；

在船身周围布置8个所述视频分析处理模块用于周围环境信息感知和采集；8个视频分析处理模块分布为：船舶头部1个，用于监测正前方航道状况；左前、右前各1个，用于辅助监测前方和侧方航道状况；左、右各1个，用于监测正侧方航道状况；左后、右后、船舶尾部各1个，共同监测后方航道状况，并辅助监测侧方航道状况，从而与数据中心和基于多摄像头数据融合的船舶监测与预警服务模块共同构成全方位的环境感知与预警系统；

所述视频分析处理模块包括视频采集子模块、信息处理子模块、无线和有线通信子模块和报警子模块；信息处理子模块采用深度学习算法对视频采集子模块所采集的视频图像进行目标识别，从而实现船舶及周边的环境感知和监测，包括实现可视范围内的各类目标识别和目标距离探测；信息处理子模块根据深度学习算法追踪信息进行目标识别、距离探测和预警处理，即发现预警目标或者进入预警距离时，实时通知报警子系统进行声光报警，同时通过有线通信接口或无线通信子模块将视频信息和预警信息通过有线或者无线通信方式发送给数据中心；

所述数据中心模块主要包括数据存储子系统和通信子模块两部分组成，支持有线通信和无线通信两种方式，用于与多个视频分析处理模块和基于多摄像头数据融合的船舶监测与预警服务模块通信；数据中心模块通过通信子模块接收来自各个视频分析处理模块采集的视频信息和预警信息，存储到数据存储子系统，同时转发给基于多摄像头数据融合的船舶监测与预警服务模块，实现将多个视频分析处理模块的视频信息和预警信息进行数据融合，进行基于多摄像头数据融合的船舶环境感知与预警处理；

其中根据视频采集子模块连接1个还是2个摄像头分为双摄像头视频分析处理模块和单摄像头分析处理模块两种类型，完成船舶周边环境的视频采集工作；

双摄像头视频分析处理模块，应用于船舶前后两端，通过两个摄像头使用双目视觉配置，实现前方航道和后方航道视觉场景的三维重建，同时在确定质心后进行精准测距；

单摄像头视频分析处理模块，应用于船舶侧前方、侧方和侧后方，实现系统的全方位视频实时监测；

所述基于多摄像头数据融合的船舶监测与预警服务模块包括信息处理子模块、通信子模块、信息配置模块、视频显示子模块和报警子模块，其中通信子模块可支持通过有线或无线通信方式与数据中心通信，接收数据中心模块转发的各个视频分析处理模块的视频数据和预警信息；信息处理子模块实现对获取的各视频分析处理模块采集的视频信息的数据融合处理，实现船舶所处环境的三维重建，通过视频显示子系统进行显示，实现多个视频分析处理模块处理信息的互换和融合并进行综合处理并判决、决策，统一负责多种形式的报警；当产生预警时，信息处理子模块发送预警信息给报警子模块，由报警子模块实现多种形式的报警，包括通过视频显示子模块的屏幕显示报警，通过通信子模块的远程报警和求救，以及通过通信子模块通知指定的1个或多个视频分析处理模块进行声、光报警；基于多摄像头数据融合的船舶监测与预警服务模块并根据基于多摄像头数据融合所感知到的环境信息可以为船舶驾驶人员提供可视化数字环境，辅助驾驶。