[发明专利]贴图方法及装置

说明书

本发明提供了一种贴图方法及装置，其中，该方法包括：采集待处理图像，对所述待处理图像进行特征点定位和特征点提取，将提取的特征点组成水平和垂直的两条特征线段；根据预先计算得到的矩形贴图素材与标准人脸中的两条特征线段的比例关系和位置关系确定所述矩形贴图素材与所述待处理图像的两条特征线段的比例关系和位置关系；根据所述矩形贴图素材与所述待处理图像的两条特征线段的比例关系和位置关系将所述矩形贴图素材叠加到所述待处理图像的对应位置进行显示，解决了相关技术中通过简单几何变换和三维变换实现人脸贴图存在缺陷的问题，实现了快速变换贴图素材并准确匹配人脸，提升实时贴图的效果。

技术领域

本发明涉及通信领域，具体而言，涉及一种贴图方法及装置。

背景技术

随着人脸识别技术的日趋成熟和手机处理图像能力的提高，基于实时人脸的贴图功能广泛使用在直播和短视频应用中。该技术需要实时检测和跟踪Camera预览数据中的人脸，并将各种内置的素材经过一定变化叠加到人脸位置。

增强现实技术(Augmented Reality，简称AR)，是一种实时地计算摄影机影像的位置及角度并加上相应图像、视频、3D模型的技术，这种技术的目标是在屏幕上把虚拟世界套在现实世界并进行互动。

在拍照、短视频或网络视频通讯领域，使用增强现实和人脸跟踪技术，对Camera拍摄人物面部实时叠加一些如帽子、眼镜等虚拟物体，在很大程度上提高了拍照、录像或视频对话的趣味性。

目前人脸贴图主要有两种实现架构：简单几何变换和三维变换。

通常贴图素材是矩形图像，几何变换一般是先提取人脸关键特征点，计算人脸大小，从而确定贴图素材的缩放比例。其次，计算人脸旋转角度和人脸在Camera预览图像中的位置，从而对贴图素材平移和旋转。

简单的拉伸、旋转和平移几何变换操作速度快，但时容易出现图像失真：

人脸是有固定几何关系，但Camera预览图像是三维人脸在二维平面的投影。如果Camera是正对人脸，简单的拉伸、旋转和平移几何变换是可以很好的匹配。但实际拍摄中有侧脸，抬头，倾斜等动作，从Camera预览中得到的人脸图像是非对称关系，简单几何变换不能很好的匹配人脸。

三维变换方法，主要是对二维人脸图像根据人脸几何对称的关系建立3维模型。比如采用瞳孔中心点，嘴角和鼻尖位置建立三维模型可以准确计算出头部姿态。根据三维空间旋转原理，找到人脸结构模型在旋转和平移之后的实际坐标与其在图像平面的投影之间关系。根据这个对应关系可以对素材变换精确贴图。

该方法中人脸三维计算，以及素材的三维投影变换计算量都很大，满足不了实时预览要求。

针对相关技术中通过简单几何变换和三维变换实现人脸贴图存在缺陷的问题，尚未提出解决方案。

发明内容

本发明实施例提供了一种贴图方法及装置，以至少解决相关技术中通过简单几何变换和三维变换实现人脸贴图存在缺陷的问题。

根据本发明的一个实施例，提供了一种贴图方法，包括：

采集待处理图像，对所述待处理图像进行特征点定位和特征点提取，将提取的特征点组成水平和垂直的两条特征线段；

根据预先计算得到的矩形贴图素材与标准人脸中的两条特征线段的比例关系和位置关系确定所述矩形贴图素材与所述待处理图像的两条特征线段的比例关系和位置关系；

根据所述矩形贴图素材与所述待处理图像的两条特征线段的比例关系和位置关系将所述矩形贴图素材叠加到所述待处理图像的对应位置进行显示。

可选地，所述方法还包括：

通过以下方式计算得到所述矩形贴图素材与标准人脸中的两条特征线段的比例关系和位置关系：