[发明专利]脸部图像处理装置和脸部图像处理程序

说明书

脸部图像处理装置(10)具备：图像坐标系坐标值导出部(102)，其通过检测拍摄人物的脸部而得到的图像的该脸部的器官的特征点各自的图像坐标系的水平方向的坐标值亦即x坐标值和垂直方向的坐标值亦即y坐标值，并且推断图像坐标系的深度方向的坐标值亦即z坐标值，来导出该图像坐标系的三维坐标值；相机坐标系坐标值导出部(103)，其根据由图像坐标系坐标值导出部(102)导出的图像坐标系的三维坐标值来导出相机坐标系的三维坐标值；以及参数导出部(104)，其将由相机坐标系坐标值导出部(103)导出的相机坐标系的三维坐标值应用于预先决定的三维脸部形状模型，来导出该三维脸部形状模型在相机坐标系中的模型参数。

技术领域

本发明涉及脸部图像处理装置和脸部图像处理程序。

背景技术

以往，作为使用拍摄人物的脸部而得到的脸部图像来导出三维脸部形状模型在相机坐标系中的模型参数的技术，有以下的技术。

在非专利文献1中公开如下的技术：使用从脸部图像检测出的特征点和三维脸部形状模型的顶点的图像投影点的投影误差来进行参数的推断。

另外，在非专利文献2中公开如下的技术：使用从脸部图像检测出的特征点、从三维传感器得到的特征点的凹凸信息、三维脸部形状模型的顶点的图像投影点的投影误差来进行参数的推断。

非专利文献1：J.M.Saragih、S.Lucey and J.F.Cohn、“Face Alignment throughSubspace Constrained Mean-Shifts”、International Conference on Computer Vision(ICCV)2009.

非专利文献2：T.Baltrusaitis、P.Robinson and L.-P.Morency、“3DConstrained Local Model for Rigid and Non-Rigid Facial Tracking”、Conferenceon Computer Vision and Pattern Recognition(CVPR)2012.

然而，在上述非专利文献1所公开的技术中，进行使图像观测点与三维脸部形状模型的图像投影点的二维空间中的距离误差最小化的最优化计算，但通过投影变换将三维信息变换为二维信息。因此，产生x坐标值与z坐标值、以及y坐标值与z坐标值之间的模糊性，容易产生因该模糊性引起的推断误差，其结果为，存在三维脸部形状模型的参数的推断精度未必充分这样的问题。

另外，在上述非专利文献2所公开的技术中，由于使用三维传感器，因此不耐太阳光等外部干扰，在该技术中也是，其结果为，存在三维脸部形状模型的参数的推断精度未必充分这样的问题。

发明内容

本发明是为了解决上述问题而完成的，其目的在于提供能够精度良好地推断三维脸部形状模型的参数的脸部图像处理装置和脸部图像处理程序。

为了实现上述目的，技术方案1所记载的脸部图像处理装置具备：图像坐标系坐标值导出部，其通过检测拍摄人物的脸部而得到的图像的该脸部的器官的特征点各自的图像坐标系的水平方向的坐标值亦即x坐标值和垂直方向的坐标值亦即y坐标值，并且推断上述图像坐标系的深度方向的坐标值亦即z坐标值，来导出上述图像坐标系的三维坐标值；相机坐标系坐标值导出部，其根据由上述图像坐标系坐标值导出部导出的上述图像坐标系的三维坐标值来导出相机坐标系的三维坐标值；以及参数导出部，其将由上述相机坐标系坐标值导出部导出的上述相机坐标系的三维坐标值应用于预先决定的三维脸部形状模型，来导出上述三维脸部形状模型在上述相机坐标系中的模型参数。

技术方案2所记载的脸部图像处理装置根据技术方案1所记载的脸部图像处理装置，其中，上述图像坐标系坐标值导出部通过与上述x坐标值和上述y坐标值的检测并行地使用深层学习推断上述z坐标值，来进行导出。