[发明专利]脸部图像处理装置和脸部图像处理程序

权利要求书

1.一种脸部图像处理装置，具备：

图像坐标系坐标值导出部，其通过检测拍摄人物的脸部而得到的图像的该脸部的器官的特征点各自的图像坐标系的水平方向的坐标值亦即x坐标值和垂直方向的坐标值亦即y坐标值，并且推断所述图像坐标系的深度方向的坐标值亦即z坐标值，来导出所述图像坐标系的三维坐标值；

相机坐标系坐标值导出部，其根据由所述图像坐标系坐标值导出部导出的所述图像坐标系的三维坐标值来导出相机坐标系的三维坐标值；以及

参数导出部，其将由所述相机坐标系坐标值导出部导出的所述相机坐标系的三维坐标值应用于预先决定的三维脸部形状模型，来导出所述三维脸部形状模型在所述相机坐标系中的模型参数。

2.根据权利要求1所述的脸部图像处理装置，其中，

所述图像坐标系坐标值导出部通过与所述x坐标值和所述y坐标值的检测并行地使用深层学习推断所述z坐标值，来进行导出。

3.根据权利要求1或2所述的脸部图像处理装置，其中，

所述三维脸部形状模型由平均形状与基底的线性和构成，所述基底被分离为作为不随时间变化的成分的个人差异基底和作为随时间变化的成分的表情基底，

所述模型参数包括所述个人差异基底的参数和所述表情基底的参数。

4.根据权利要求3所述的脸部图像处理装置，其中，

所述模型参数还包括位置姿势参数，所述位置姿势参数表示从拍摄所述人物的脸部的相机观察到的所述人物的脸部的位置和姿势。

5.根据权利要求1至4中的任一项所述的脸部图像处理装置，其中，

所述脸部图像处理装置还具备脸部距离推断部，所述脸部距离推断部推断到所述人物的脸部为止的距离，

所述相机坐标系坐标值导出部使用由所述脸部距离推断部推断出的距离来导出所述相机坐标系中的z坐标值。

6.根据权利要求1至5中的任一项所述的脸部图像处理装置，其中，

所述脸部图像处理装置还具备坐标校正部，所述坐标校正部根据所述图像中的所述脸部的位置来校正由所述图像坐标系坐标值导出部导出的z坐标值。

7.根据权利要求1至6中的任一项所述的脸部图像处理装置，其中，

所述脸部图像处理装置还具备权重设定部，所述权重设定部对所述脸部的器官的特征点的x坐标值、y坐标值和z坐标值的误差评价值分别设定独立的权重。

8.一种脸部图像处理程序，用于使计算机执行如下处理：

通过检测拍摄人物的脸部而得到的图像的该脸部的器官的特征点各自的图像坐标系的水平方向的坐标值亦即x坐标值和垂直方向的坐标值亦即y坐标值，并且推断所述图像坐标系的深度方向的坐标值亦即z坐标值，来导出所述图像坐标系的三维坐标值，

根据所导出的所述图像坐标系的三维坐标值来导出相机坐标系的三维坐标值，

将所导出的所述相机坐标系的三维坐标值应用于预先决定的三维脸部形状模型，来导出所述三维脸部形状模型在所述相机坐标系中的模型参数。