[发明专利]一种辐照环境下基于深度学习的视觉定位仿真方法及系统

说明书

本发明公开了一种辐照环境下基于深度学习的视觉定位仿真方法及系统，系统包括核热室支架平台、工业双目相机、PC；工业相机获取作业平台视频流，PC逐帧提取图片，采用视觉算法获取不同种类目标对象的位置信息，并在基于Unity3D引擎的VR平台中重构；方法包括双目相机的标定与畸变矫正；核环境下被污染的图像中值滤波预处理算法，消除图片椒盐噪声；yolo.v4目标检测与BM双目立体匹配融合算法，生成目标种类与三维位置；本发明采用yolo.v4深度学习算法，检测速度超过传统视觉检测算法，识别对象种类理论上可以达到无穷多，单纯通过视觉信息，实现了核热室多目标识别，定位及VR实时重构，指导热室机械手对目标对象的作业。

技术领域

本发明属于核工业智能化仿真与实时图像处理领域，特别是一种辐照环境下基于深度学习的视觉定位仿真方法及系统。

背景技术

核工业动力机械手作为核电维护远程操作的重大装备，可应用于人类无法(或者限制)进入的极端恶劣强辐照环境中进行繁重复杂的工作，尤其适用于乏燃料后处理和核设施退役。

虽然机械手从出现至今经历了50多年的发展过程，诞生了很多不同种类的机械手，它们在各种工作环境里大展才能，已经具有了成熟完备的技术体系。然而我国目前对核工业动力机械手的研究却仍处于起步阶段。其原因很大程度在于：大型机械手的操作，尤其是在高风险核环境下，为了保证安全性与精度，需要获取足够的环境与操作对象目标信息，指导机械手作业，这仅仅凭借操作者的肉眼与经验手动操作是完全不够的；即便市场目前存在一些较为成熟的与机械手配套的遥操作仿真控制系统。但由于核环境高能粒子的作用下，大部分对环境数据采集必不可少的精密传感器会寿命大大减少甚至失灵，从而只能采用简单工业相机去采集此类数据。而此时若单纯对采集到的数据用传统的机器视觉图像处理技术如OpenCV边缘检测等相关算法获取相关信息，其结果效果差、精度低、速度慢，需要大量的特征提取才只能粗略的分割出单一的某一个目标对象，同时还会受如光照、距离、等条件制约，显然面对整个目标环境及多种类操作目标对象的信息获取需求，是远远不足的。

发明内容

辐照环境下基于深度学习的视觉定位仿真方法及系统，适用于强辐照环境下工程作业场合，如核热室、核反应堆等，在这种极其严酷的环境下，无需高精度防辐射能力低的传感器，实现端到端的对环境信息仿真与操作对象目标实时定位，精确指导核工业机械手的遥操作作业。

实现本发明目的的技术解决方案为：

一种辐照环境下基于深度学习的立体视觉定位仿真方法，包括以下步骤：

步骤1、搭建辐照环境下的机械手作业对象识别定位系统；

步骤2、进行相机标定和畸变矫正，对相机的内外参数进行标定，计算相机的内外参数，得到相机坐标系与世界坐标系之间的关系，并在图像径向方向上进行畸变矫正，减少图像失真；

步骤3、进行强辐照环境图像预处理：对双目相机收集到的实时视频流逐帧提取图像，并对传输到PC端的图像进行中值滤波预处理，消除强辐照环境下因高能粒子对图像的干扰产生的椒盐噪声；

步骤4、将处理好的图像作为输入，采用yolo.v4目标检测与BM双目立体匹配融合算法，一方面通过yolo.v4深度学习模型中进行图像中目标对象的检测识别，以及二维定位；另一方面利用BM双目立体匹配算法，获取场景深度图信息；对坐标进行同尺寸映射解码，然后再将检测到的各类目标对象对应的二维坐标信息向深度图进行映射，采用坐标索引得到相应位置的深度，组成三维空间坐标返回到融合算法模型中；

步骤5、将检测识别到的不同种类目标对象及其对应的三维坐标，打包成数据流，对数据流中数据采用逻辑判断及分段求取中位数的方法进行过滤，剔除受深度图空洞产生的异常数据，筛选出有效坐标信息输入到VR仿真平台中；

步骤6、利用脚本将输入到VR仿真平台中的目标对象类别信息进行索引，调取其在仿真平台中预先建模好的模型，并通过其对应的三维坐标信息在对应位置实时重构。