[发明专利]3D深度图构建方法、装置及AR眼镜

权利要求书

1.一种3D深度图构建方法，其特征在于，包括：

对原始ToF采集信号进行基于光学多路复用的压缩感知增强，获得第一ToF采集信号；

对所述第一ToF采集信号对应的ToF图像进行基于滑动时间窗的多帧超分辨率增强，重构高解析度的第二ToF采集信号；

根据所述第二ToF采集信号利用特定类可变形三维模型构建ToF图像的3D深度图；

对所述3D深度图进行基于置信度的多正交域增强3D深度图融合。

2.根据权利要求1所述的方法，其特征在于，对原始ToF采集信号进行基于光学多路复用的压缩感知增强，获得第一ToF采集信号，包括：

在ToF采集图像的多次曝光过程中更改时分复用光编码模块上的编码，实现场景的时分多路复用，以重建具有高分辨率振幅和深度图像的所述第一ToF采集信号。

3.根据权利要求2所述的方法，其特征在于，在ToF采集图像的多次曝光过程中更改时分复用光编码模块上的编码，实现场景的时分多路复用，以重建具有高分辨率振幅和深度图像的所述第一ToF采集信号，包括：

在原始ToF采集路径的所述时分复用光编码模块上形成场景的线性图像；

在ToF采集图像的多次曝光过程中，通过更改所述时分复用光编码模块上的编码，进行场景的时分多路复用；

将所述场景的线性图像中继到ToF采集平面上；

所述ToF采集平面上的ToF像素收集所述场景的线性图像，重建具有高分辨率振幅和深度图像的所述第一ToF采集信号。

4.根据权利要求1所述的方法，其特征在于，对所述第一ToF采集信号对应的ToF图像进行基于滑动时间窗的多帧超分辨率增强，重构高解析度的第二ToF采集信号，包括：

所述在滑动时间窗内，根据所述第一ToF采集信号获取低解析度的ToF图像，并通过多帧的所述ToF图像的相量图基于场景真实信号的概率分布进行场景真实信号的重构，生成高解析度的第二ToF采集信号。

5.根据权利要求4所述的方法，其特征在于，根据所述第一ToF采集信号获取低解析度的ToF图像，并通过多帧的所述ToF图像的相量图基于场景真实信号的概率分布进行场景真实信号的重构，生成高解析度的第二ToF采集信号，包括：

根据所述第一ToF采集信号获取所述低解析度的ToF图像，并计算所述低解析度的ToF图像的相量图；

根据所述滑动时间窗内的所述低解析度的ToF图像序列计算得出重构的高解析度的ToF图像序列；

根据所述高解析度的ToF图像序列基于场景真实信号的概率分布进行场景真实信号的重构，生成高解析度的第二ToF采集信号。

6.根据权利要求1所述的方法，其特征在于，根据所述第二ToF采集信号利用特定类可变形三维模型构建ToF图像的3D深度图，包括：

从目标检测数据集的2D注释中学习类别特定的可变形模型；

结合对象检测、实例分割和视点估计，以识别、定位和估计ToF图像中的对象的姿态；

结合所述视点估计得到的估计视点和实例化信息，使用所述学习的可变形模型，对所述ToF图像中的对象进行3D重构；

融合三维形状和高频局部形状指示，重建包含多视图观察角度的所述3D深度图。

7.根据权利要求1所述的方法，其特征在于，其中，所述多正交域增强包括时间域增强、相位域增强和语义增强。

8.一种3D深度图构建装置，其特征在于，包括：

第一增强模块，用于对原始ToF采集信号进行基于光学多路复用的压缩感知增强，获得第一ToF采集信号；

第二增强模块，用于对所述第一ToF采集信号对应的ToF图像进行基于滑动时间窗的多帧超分辨率增强，重构高解析度的第二ToF采集信号；

构建模块，用于根据所述第二ToF采集信号利用特定类可变形三维模型构建ToF图像的3D深度图；

融合模块，用于对所述3D深度图进行基于置信度的多正交域增强3D深度图融合。