[发明专利]一种基于光流和时流的成像方法、装置及电子设备

说明书

本发明公开了一种基于光流和时流的成像方法、装置及电子设备，该方法包括获取目标场景的现场实时图像，基于光流法计算所述现场实时图像的光流场运动矢量，并聚类所述光流场运动矢量得到全局运动矢量；基于所述全局运动矢量生成时流域窗口，在所述时流域窗口中持续生成时间图像；获取虚拟视场角的角度参数，基于所述角度参数对所述时间图像进行透视变换，生成并展示实时成像贴图。本发明实现了利用流水线在光流和时流上的一致性，将局部现场实时图像的画面拼接成时间上的长画卷图像，实现了对流水线上固定物体（即产线设备）和流动物体（即产线物料）的分别处理和融合成像，图形展示效果好。

技术领域

本申请涉及图像成像技术领域，具体而言，涉及一种基于光流和时流的成像方法、装置及电子设备。

背景技术

目前对于产线流水线的图形化展示一般分两种方式。一是使用现场安装的相机来展示实时图像，由于相机为固定安装方式，也就无法实现自由视角变换；二是使用3D建模和仿真计算的方式，通过输入各初始变量并实时模拟运算出车间的现场场景，可以实现任意的视角变换，效果非常好。但是无法实时体现流水线物料实时情况，往往模拟运算的结果和实际现场会有不符的情况。

若想要使得图形化展示最优，最好的方式是将二者结合，然而因为现场的视频存在镜头畸变，视角畸变等，很难和3D模型达到完美地契合。导致目前对于如何将现场视频准确地嵌入模型中进行融合显示这一难点还没有较好的解决方式。

发明内容

为了解决上述问题，本申请实施例提供了一种基于光流和时流的成像方法、装置及电子设备。

第一方面，本申请实施例提供了一种基于光流和时流的成像方法，所述方法包括：

获取目标场景的现场实时图像，基于光流法计算所述现场实时图像的光流场运动矢量，并聚类所述光流场运动矢量得到全局运动矢量；

基于所述全局运动矢量生成时流域窗口，在所述时流域窗口中持续生成时间图像；

获取虚拟视场角的角度参数，基于所述角度参数对所述时间图像进行透视变换，生成并展示实时成像贴图。

优选的，所述获取目标场景的现场实时图像，包括：

获取目标场景中设置于不同拍摄角度的各相机所拍摄的相机图像，对各所述相机图像进行多角度融合成像，得到所述目标场景对应翻滚角的现场实时图像。

优选的，所述基于光流法计算所述现场实时图像的光流场运动矢量之前，还包括：

对所述现场实时图像进行高斯滤波。

优选的，所述基于光流法计算所述现场实时图像的光流场运动矢量之后，还包括：

基于所述光流场运动矢量分解所述现场实时图像，确定所述现场实时图像的流水线区域边界。

优选的，所述基于所述全局运动矢量生成时流域窗口之后，还包括：

基于透视变换对所述时流域窗口进行倾斜矫正。

优选的，所述在所述时流域窗口中持续生成时间图像，包括：

基于所述现场实时图像在所述时流域窗口中生成时间图像，并持续将新接收到的所述现场实时图像添加至所述时间图像的末尾。

第二方面，本申请实施例提供了一种基于光流和时流的成像装置，所述装置包括：

获取模块，用于获取目标场景的现场实时图像，基于光流法计算所述现场实时图像的光流场运动矢量，并聚类所述光流场运动矢量得到全局运动矢量；

生成模块，用于基于所述全局运动矢量生成时流域窗口，在所述时流域窗口中持续生成时间图像；

展示模块，用于获取虚拟视场角的角度参数，基于所述角度参数对所述时间图像进行透视变换，生成并展示实时成像贴图。