[发明专利]基于卷积去噪自编码器的无监督事件相机去噪方法及装置

说明书

本发明公开了一种基于卷积去噪自编码器的无监督事件相机去噪方法及装置，其中，该方法包括：利用事件相机采集包含时间、空间和极性信息的含噪声事件序列，按照固定步长对事件序列进行划分得到事件序列切片，将事件序列切片中的事件按照对应的空间位置坐标映射到二维，构成一幅二维图像，多段连续的事件序列切片顺序映射得到重构视频帧；构建去噪自编码器，重构视频帧通过预设去噪算法进行预去噪产生模拟真值，利用重构视频帧和真值训练去噪自编码器得到无监督卷积去噪自编码器，利用无监督卷积去噪自编码器对视频帧进行去噪。该方法可同时实现事件相机序列的二维可视化和去噪任务。

技术领域

本发明涉及信号处理与图像去噪技术领域，特别涉及一种基于卷积去噪自编码器的无监督事件相机去噪方法及装置。

背景技术

事件相机(Event Camera)是一种新型的基于神经形态视觉原理的异步成像相机，又被称为“硅视网膜”。该相机模拟了人类视网膜的成像机制，相比于传统相机，具有功耗低、时延小、动态范围大等优点，在无人机视觉导航、无人驾驶、高速目标检测等方面具有很大的应用价值。但是，事件相机输出的原始事件序列信号质量较差，严重制约了其在实际场景中的应用性能。此外，由于事件相机的原始输出序列不具有二维可视化效果，往往需要重构成视频帧才能进一步显示或者完成后续处理，因此设计一套能够同时实现事件相机视频帧重构和去噪的算法是十分必要的。

事件相机是一种仿生异步成像相机。成像时，相机仅关注有变化的像素点，而没有“帧”的概念，从而从根本上解决了传统相机数据高度冗余的问题，节约了数据传输所需带宽。事件相机是一种仿生异步成像相机。成像时，相机仅关注有变化的像素点，而没有“帧”的概念，从而从根本上解决了传统相机数据高度冗余的问题，节约了数据传输所需带宽。此外，异步刷新机制也使得事件相机摆脱了帧率的限制，具有低延迟的特性，能够实现对高速运动目标的准确捕捉跟踪，并且不会产生运动模糊。在亮度检测上，事件相机的亮度采集采用了对数响应，极大的扩宽了其成像动态范围，从而提升了其在极端环境下的工作性能，在无人驾驶、目标检测、安防监控等领域具有很大应用价值。

图像去噪是图像处理领域的基本问题之一。其目的在于通过利用图像的平滑性、低秩性、稀疏性、自相似性及噪声的随机性等特征来实现图像中噪声的去除，从而获取更高质量的图像。传统的图像去噪算法有最近邻滤波、双边滤波，非局部均值等，但是这些算法往往在自适应性和运算速度方面具有很大局限。

近几年来，随着机器学习和计算机视觉的兴起，基于深度学习的去噪算法也受到了越来越多的关注。深度学习作为一项数据驱动的强大拟合工具，在包括去噪在内的很好任务中都具有优秀表现，并已经基本超越传统算法所能达到的最好效果。在各类深度学习模型中，卷积神经网络和去噪自编码器是图像处理中常用的两种架构，它们能够深入挖掘图像的结构信息，从而实现去噪、超分辨等各类任务。

发明内容

本发明旨在至少在一定程度上解决相关技术中的技术问题之一。

为此，本发明的一个目的在于提出一种基于卷积去噪自编码器的无监督事件相机去噪方法，该方法可同时实现事件相机序列的二维可视化和去噪任务。

本发明的另一个目的在于提出一种基于卷积去噪自编码器的无监督事件相机去噪装置。

为达到上述目的，本发明一方面实施例提出了一种基于卷积去噪自编码器的无监督事件相机去噪方法，包括：

利用事件相机采集包含时间、空间和极性信息的含噪声事件序列，按照固定步长对所述事件序列进行划分得到事件序列切片，将所述事件序列切片中的事件按照对应的空间位置坐标映射到二维，构成一幅二维图像，多段连续的事件序列切片顺序映射得到重构视频帧；

构建去噪自编码器，所述重构视频帧通过预设去噪算法进行预去噪产生模拟真值，利用所述重构视频帧和所述真值训练所述去噪自编码器得到无监督卷积去噪自编码器，利用所述无监督卷积去噪自编码器对视频帧进行去噪。