[发明专利]一种基于图像序列的模型形变人脸三维重建方案

说明书

本方案设计的人脸三维重建过程包括图像获取、人脸检测、人脸一般模型的建立、特征点提取、模型调整以及皮肤的纹理映射等。通过调用摄像头采集视频获取人脸图像序列，经过人脸检测，判断图像中是否包含单个人脸图像，若包括则提取人脸特征点，采用对标准模型形变的人脸三维重建的方法，并将序列图像后一帧对前一帧的PC A补偿量按其权系数不断融入PCA系数中，迭代更新二维人脸的PCA系数，结合摄像机的空间投影变换关系获得三维模型的形变系数以重建三维模型的形状和颜色。同时，将序列图像每一帧中人脸可见像素点的纹理坐标数据存储在Isomap特征矩阵中并按照其权重求和，根据二维与三维人脸特征点的对应关系并利用反向变换法完成皮肤的纹理映射。

技术领域

本发明属于图像识别、三维建模领域，具体为一种基于图像序列的模型形变人脸三维重建的设计和实现方法。

背景技术

随着摄影、照相等相关硬件技术的不断发展，在电影、游戏、医疗等领域，三维技术得到了广泛的应用。相比二维图像，三维图像具有更多的空间信息且贴近人们的生活。近年来，在计算机视觉和图形学中，三维人脸建模的研究成为该领域的核心内容，在三维人脸动画与识别中起到了关键作用。在科学技术进步的不断促进下三维重建技术的水平也在不断地提高，并且融入在社会生产生活的多个方面，如虚拟现实等与计算机视觉和图形学相关的多个方面。应用在虚拟试衣、三维人脸识别和虚拟发型变换等方面的三维重建技术，以其“实时性”和“交互性”赢得了广泛关注。这其中非常关键的就是三维重建技术中的人脸三维重建，可以让人们在现实生活中体验越来越多的便利。

采用3D虚拟试衣技术的虚拟试衣镜能解决消费者在购买衣服时总是需要不停更换自己的衣服而导致费时费力的问题，能够帮助用户对衣服的上身效果有更好的体验；购物网站平台上的虚拟试衣软件解决了消费者逛街购物时路途遥远、精神疲惫以及时间不足等问题的同时，帮助消费者在不能真实试穿的情况下实现真实感试衣体验，避免收货时发现衣服尺寸不合身、样式不满意、颜色和材质与图片描述不符等情况的出现，使得其消费信心和意愿不断增强，同时可以提升卖家的信誉，避免物流等资源的浪费。在虚拟试衣技术中人脸三维重建技术是其中一部分。3D虚拟试衣不仅采集人体体型数据对人体进行三维建模，还需要对人脸进行三维重建，在试衣时，不仅能对挑选的衣服进行试穿，还可更改个人的发型、对各类帽子进行试戴等，而这需要人脸的三维重建技术。

3D虚拟发型变换能解决用户到理发店理发时不知自己选择何种发型的问题，用户可通过对自己重建的三维人脸试戴各种发型，体验效果，不满意随即更换，避免了理发后对自己发型不满意而短期内无法更改变换的困难；同时虚拟发型变换还可应用于视频聊天、网络游戏等多个方面。人脸三维重建是虚拟发型变换系统中重要的一部分。

发明内容

本发明内容是为了实现可移动、便携式的人脸三维重建系统的设计。例如在3D虚拟换衣、发型变换等系统中，以满足常规用户并没有人脸图像采集的特殊设备而只能调用手机摄像头或计算机网络摄像头的情况来获得人脸的图像信息以实现人脸的三维重建。

本发明以Windows为平台，采用VC++为开发环境，结合以机器视觉库OpenCV为主的图像处理工具，编写了人脸三维重建的应用程序，其功能模块包括图像获取、人脸检测、特征点提取、三维人脸重建等。

本发明提出了单目被动法对图像序列基于模型形变重建人脸三维的基本思路。提出采用Haar特征的Adaboost算法为本设计的人脸检测的核心算法，并且采用ASM算法对人脸特征点进行提取并对3DMM进行模型形变。提出了本设计的模型调整算法和本设计使用的纹理映射方法。

1、基于图像序列的模型形变的重建人脸三维重建基本思路：

（1）以改进的PCA算法重建三维人脸的形状和颜色。

（2）将二维人脸图像与形变模型面部对准，利用PCA算法提取二维人脸特征点的PCA特征向量。