[发明专利]使用硬件电路对鱼眼镜头所成图像实时矫正和拼接的系统

说明书

技术领域

本发明涉及一种使用硬件电路对鱼眼镜头所成图像实时矫正和拼接的系统。

背景技术

鱼眼镜头是一种视场角接近或等于180°的超广角光学摄像镜头。基于鱼眼镜头的极端广角特性，目前在视频监控、行车记录等领域都已经广泛使用鱼眼镜头来替代传统的广角镜头；同时，双鱼眼镜头全景成像系统也因为其较传统的多平面全景成像系统的结构更为简单、所用镜头更少、成本更低，而在全景摄像领域被重点关注；在对视频质量要求更高的领域，基于多个鱼眼镜头的摄像系统也开始逐渐被开发出来。

但是由于鱼眼镜头的成像存在畸变，且随着视场角的增大，成像的畸变会进一步增大。通常鱼眼镜头成像中心部分畸变较小，边缘部分畸变极大，正常观看无法直接获取图像的全部信息，需要对其进行矫正处理。而图像的矫正算法十分复杂，以60帧每秒的视频播放速度计算，帧间时间仅为16毫秒左右，一般相机上的处理器无法在这么短的时间内完成对图像的矫正计算，尤其是对高清图像的处理。此外，在使用多鱼眼镜头制造全景相机时，不仅需要对多个鱼眼镜头所成图像进行同步采集、矫正，还需要对其进行拼接，以构成全景图像。传统上使用软件在后期完成图像的矫正或拼接将大大耗费处理时间，因此基于软件的鱼眼镜头成像系统不具有实时性，只能应用到录播系统中。注意到图像的矫正和拼接算法具有较强的模式特征，使用基于硬件描述语言设计的电路将图像矫正和拼接算法硬件化，加快算法运行速度，为解决实时矫正和拼接的问题提供了一种解决方案。

发明内容

针对现有技术中的不足，本发明要解决的技术问题在于提供了一种使用硬件电路对鱼眼镜头所成图像实时矫正和拼接的系统。

为解决上述技术问题，本发明通过以下方案来实现：使用硬件电路对鱼眼镜头所成图像实时矫正和拼接的系统，该系统包括：

光学镜头单元液晶显示模组，所述光学镜头单元液晶显示模组包括至少一个鱼眼镜头，所述鱼眼镜头为视场角不小于180°的半球面体，其用于采集一个或多个空间方位的光信号；

与光学镜头单元液晶显示模组连接的图像传感器单元液晶显示模组，所述图像传感器单元液晶显示模组包括至少一个图像传感器，所述图像传感器用于采集鱼眼镜头所成图像；

与图像传感器单元液晶显示模组，所述图像矫正和拼接单元液晶显示模组使用硬件实现，它包括实时处理器件和存储器件两个部分，实时处理器件由FPGA或CPLD等通用型可编程器件或以ASIC技术实现的专用型集成电路构成，所述实时处理器件用于矫正所述鱼眼镜头所成图像中的畸变，将鱼眼球面图像展开为适合观看的平面图像，同时在系统存在多路鱼眼镜头所成图像时，对各个图像进行无缝拼接，所述存储器件用于存储矫正或拼接过程中所用到的数据表以及图像数据的缓冲；

与图像矫正和拼接单元液晶显示模组连接的图像数字处理单元液晶显示模组，所述图像数字处理单元液晶显示模组完成矫正或拼接后的图像数据的采集、预处理、编码、压缩，并最终输出实时全景视像信号。

进一步的，所述系统还包括附属单元，该附属单元包括电源、时钟、调试以及通讯接口；

所述电源单元包括充电管理模块、电源电平转像模块以及上电顺序管理模块；

所述时钟单元包括外部时钟单元及部分器件的内部时钟单元；

所述调试单元包括器件集成的调试接口以及自定义的调试信息输入输出接口；

所述通讯接口单元将实时视像信号通过WIFI模块、4G或5G模块、LAN模块、FIREWIRE模块、bluetooth模块、USB模块的一种或数种方式发送到后端输出。

进一步的，所述矫正和拼接单元液晶显示模组包括图像采集模块、存储器访问接口模块、图像矫正拼接模块、图像输出模块，所述图像采集模块与图像输出模块之间设置有实时处理器件，所述存储器访问接口模块连接存储器件；

所述图像采集模块分两种图像采集方式：一种是在系统使用单鱼眼镜头构成光学镜头单元时驱动单个图像传感器采集图像信息；另一种是在系统使用多个鱼眼镜头构成光学镜头单元时，则通过硬件实现同步驱动多路图像传感器并行采集图像信息；

所述存储器访问接口模块是通过串行或并行总线接口，按照规定的时序读取存储器中的数据表，或将需要缓冲的图像数据写入存储器；

所述图像矫正拼接模块是通过硬件电路实现的算法，重新分布和修正原始图像各个像素的数据，使其在被矫正或拼接后符合直接观测或特殊观测的需要；

所述图像输出模块是将矫正或拼接后的图像以符合标准的视像格式，向后端的图像数字处理单元输出。