[发明专利]一种鱼眼图像处理系统和方法

说明书

本发明公开一种鱼眼图像处理系统和方法、存储介质。该方法包括：在离线阶段，对一个鱼眼镜头获取的多帧原始鱼眼图像数据进行处理得到多帧去失真的重建图像数据，并确定得到原始鱼眼图像数据与重建图像数据之间的像素映射关系；在在线阶段，根据在离线阶段确定的像素映射关系，对该鱼眼镜头获取到的鱼眼图像数据进行像素映射，得到去失真的图像数据。

技术领域

本申请一般性地涉及图像处理、车辆控制系统、以及自动驾驶系统的工具(系统、装置、方法、计算机程序产品，等等)，特别涉及但不仅限于一种鱼眼图像处理系统和方法、存储介质。

背景技术

物体检测是许多视觉任务中的一个基础问题，包括图像分割、语义实例分割、以及物体检测预测。检测到一个交通环境中的全部物体对于建立一个自动驾驶系统而言是非常重要的。对一个物体(例如一个车辆或者一个人)检测失败可能会导致自动驾驶车辆的运动规划模块的失常，并导致灾难性的事故。从而自动驾驶车辆的目标检测是一个重要的操作问题和安全问题。

物体检测包括图像分析和图像语义分割的使用。语义分割的目标在于为图像中每个像素分配一个类别标签，语义分割在图像分析和自动驾驶系统中起到重要作用。语义分割框架提供像素级别的类别标签，但是无法检测到物体级别的单个实例。

鱼眼镜头和鱼眼镜头摄像头广泛应用于日常生活。这些类型的镜头通常安装在车辆、监控摄像头、望远镜以及类似的装置中，以获取极为广阔的视野。但是，鱼眼镜头广阔视野的便利性是以高度的图像失真程度为代价的。传统的图像处理技术例如物体检测通常无法重建物体的形状或位置，也无法处理鱼眼镜头产生的图像失真问题。传统的鱼眼镜头图像去失真算法难以被修改得适应于物体检测应用，例如自动驾驶控制系统。

发明内容

本申请实施例提供了一种鱼眼图像处理系统和方法、存储介质。

一方面，本申请实施例提供了一种鱼眼图像处理方法，包括：在离线阶段，对一个鱼眼镜头获取的多帧原始鱼眼图像数据进行处理得到多帧去失真的重建图像数据，并确定得到原始鱼眼图像数据与重建图像数据之间的像素映射关系；在在线阶段，根据在离线阶段确定的像素映射关系，对该鱼眼镜头获取到的鱼眼图像数据进行像素映射，得到去失真的图像数据。

一方面，本申请实施例提供了一种鱼眼图像处理系统，包括：一个数据处理器和至少一个存储器，至少一个存储器中存储有至少一条机器可执行指令，数据处理器执行至少一条机器可执行指令后执行如上所述的鱼眼图像处理方法。

一方面，本申请实施例提供了一种非易失性存储介质，其中存储有至少一条机器可执行指令，至少一条机器可执行指令被机器执行后执行如上所述的鱼眼图像处理方法。

附图说明

所述各实施例是通过示例的方式而不是通过限制的方式说明的，在附图中：

图1示出了一个示例实施例中实施的车内图像处理模块的一个示例生态系统的结构框图；

图2示出了配置有多个鱼眼镜头摄像头的自动驾驶车辆或者自主车辆的示例；

图3示出了传统的或者当前的来自于鱼眼镜头摄像头的一张图像；

图4的上部分示出了多个图像部分的示例，下部分示出了对多个图像部分拼接后的结果图像的示例；

图5示出了一个示例实施例中鱼眼图像处理模块实施的鱼眼图像变换产后护理；

图6示出了一个示例实施例中的系统和方法对来自自动驾驶车辆或者自主车辆上的多个鱼眼镜头摄像头的图像进行处理的流程图；

图7示出了另一个示例实施例中的系统和方法对来自自动驾驶车辆或者自主车辆上的多个鱼眼镜头摄像头的图像进行处理的流程图；

图8示出了用于自动驾驶车辆的鱼眼图像处理系统的示例；