[发明专利]二维图像处理方法及执行所述方法的设备

说明书

提供了一种二维图像处理方法，所述方法包括以下步骤：获得二维图像；通过使用经训练的卷积神经网络(CNN)处理所获得的二维图像，以从二维图像获得至少一个相机参数和至少一个面部模型参数；并基于所获得的至少一个相机参数和至少一个面部模型参数来生成三维面部模型。

技术领域

本公开涉及二维(2D)图像处理方法和用于执行该方法的设备。更具体地，本公开涉及在2D图像上生成面部的三维(3D)模型的方法和用于执行该方法的设备。

背景技术

通过从二维(2D)图像中提取面部来生成三维(3D)面部模型的技术被用于各种领域。

然而，因为算法的复杂性而需要高性能的硬件，所以通过仅使用移动设备而无附加硬件支持来实现以上技术可能并不容易。

实施例描述

问题的解决方案

根据本公开的一方面，一种二维(2D)图像处理方法包括：获得2D图像；通过使用经训练的卷积神经网络(CNN)处理所获得的2D图像，以从2D图像获得至少一个相机参数和至少一个面部模型参数；并基于所获得的至少一个相机参数和至少一个面部模型参数来生成三维(3D)面部模型。

附图说明

图1是根据本公开实施例的二维(2D)图像处理设备的框图。

图2是根据本公开实施例的2D图像处理方法的流程图。

图3是根据本公开实施例的通过使用经训练的卷积神经网络(CNN)执行的用于处理2D图像的数据处理方法的流程图。

图4a是根据本公开实施例的经训练的CNN的数据处理方法的流程图。

图4b示出了根据本公开实施例的所使用的CNN的结构。

图4c示出了根据本公开实施例的所使用的CNN的另一结构。

图5示出了根据本公开实施例的2D图像处理方法与现有方法之间的差异的示例。

图6是根据本公开实施例的CNN训练方法的流程图。

图7是根据本公开实施例的附加地获得情绪参数的方法的流程图。

图8示出了根据本公开实施例的基于2D图像生成三维(3D)化身的示例。

图9示出了根据本公开实施例的2D图像处理设备从捕捉的路人图像获得情绪参数并提供适当的广告的示例。

图10示出了根据本公开实施例的机器人宠物通过从捕捉的用户图像获得情绪参数来与用户交流的示例。

图11示出了根据本公开实施例的基于所生成的3D面部模型来校正透视畸变的示例。

最佳实施方式

根据本公开的一方面，一种二维(2D)图像处理方法包括：获得2D图像；通过使用经训练的卷积神经网络(CNN)处理所获得的2D图像，以从2D图像获得至少一个相机参数和至少一个面部模型参数；并基于所获得的至少一个相机参数和至少一个面部模型参数来生成三维(3D)面部模型。

通过使用经训练的CNN来处理2D图像可以包括：调整2D图像的尺寸；从尺寸经调整的2D图像中检测面部；用边界框指示包括检测到的面部的面部区域；从2D图像中切割出由边界框指示的面部区域的图像；通过调整面部区域的切割图像的尺寸来生成第二图像；在第二图像上标记面部的至少一个界标；以及获得与至少一个界标最匹配的至少一个相机参数和至少一个面部模型参数。

可以通过使用非线性优化来获得至少一个相机参数，并且可以通过使用线性优化来获得至少一个面部模型参数。

可以以各种方式训练CNN。