[发明专利]具有可变焦光学摄像头的深度摄像头及其控制方法

权利要求书

1.一种对具有可变焦光学摄像头的深度摄像头的控制方法，包括由处理器执行以下操作：

1)识别由所述深度摄像头所拍摄的光学图像上存在的物体；

2)确定该物体的识别置信度；以及

3)如果该物体的识别置信度不大于设定阈值，则针对该物体进行光学变焦和/或数字变焦，以获得新的光学图像。

2.根据权利要求1所述的方法，其中针对该物体进行光学变焦包括：

3-1)根据由所述深度摄像头所拍摄的深度图像中的深度信息和所述物体在所述光学图像上的边框，计算进行光学变焦所使用的光学焦距F_new。

3.根据权利要求1所述的方法，其中针对该物体进行光学变焦包括：

3-1-1)根据用于确定所述物体的边框的点在所述光学图像上的坐标、所述点在深度图像上的坐标、所述光学摄像头与深度传感器之间的物理距离、以及所述物体在变焦后在所述光学图像中所占的比例，确定进行光学变焦所使用的光学焦距F_new。

4.根据权利要求3所述的方法，在步骤3-1-1)中通过下述计算式确定所述F_new：

其中，(x_w,y_w,z_w)是所述物体上某一点P在世界坐标系中的坐标，(u,v)是所述点P在图像坐标系中的坐标，z是点P在世界坐标系中的坐标点到图像平面的距离，dx和dy为每个像素在图像物理坐标系中X轴和Y轴方向上的尺寸；f为焦距F_new，f_x和f_y为X轴和Y轴方向的等效焦距；u₀和v₀是图像中心坐标；R和T为摄像机在世界坐标中的旋转矩阵和平移矩阵；矩阵L为摄像机的内参数矩阵，矩阵W为摄像机的外参数矩阵。

5.根据权利要求1-4中任意一项所述的方法，其中步骤3)还包括：

利用以下计算式对经过光学变焦所重新拍摄的光学图像与深度图像进行配准：

P^c_color＝R^-1_wcR_wdP^c_depth–(R^-1_wcR_wdT_wd-T_wc)

其中，P^c_color为所述重新拍摄的光学图像的坐标系中的像点的坐标；P^c_depth为所述深度图像上的点在深度摄像头坐标系中的坐标；R_wc是光学摄像头的图像坐标相对于世界坐标的旋转变换矩阵；T_wc为光学摄像头的图像坐标相对于世界坐标的平移变换矩阵；R_wd为深度传感器的图像坐标相对于世界坐标的旋转变换矩阵；T_wd为深度传感器的图像坐标相对于世界坐标的平移变换矩阵。

6.根据权利要求1-4中任意一项所述的方法，其中步骤3)还包括：

指示深度传感器生成新的深度图像。

7.根据权利要求1-4中任意一项所述的方法，其中步骤3)包括：

针对所述物体，在所述光学图像的相应区域上进行像素插值，使得通过数字变焦所获得的新的光学图像上的所述物体的尺寸适中。

8.根据权利要求7所述的方法，在所述步骤3)中，基于设置的优先级来确定在进行光学变焦之前进行数字变焦或在进行数字变焦之前进行光学变焦。

9.一种计算机可读存储介质，其中存储有计算机程序，所述计算机程序在被执行时用于实现如权利要求1-8中任意一项所述的方法。

10.一种深度摄像头，包括：

可变焦的光学摄像头、图像传感器、深度传感器、处理器、和存储装置，

其中，所述存储装置用于存储计算机程序，所述计算机程序在被所述处理器执行时用于实现如权利要求1-8中任意一项所述的方法。