[发明专利]一种基于机器学习以及图像处理的面部动画捕捉矫正方法

权利要求书

1.一种基于机器学习以及图像处理的面部动画捕捉矫正方法，其特征在于，包括以下步骤：

S1、对采样人员的面部标记多个mark点，使用多个头戴式摄像机对带有所述mark点的人员面部进行视频拍摄；

S2、对每个所述摄像机采集的每帧图像进行图片预处理，并按照均匀间隔的帧数选取图片作为训练集；

S3、在所述训练集中的图片上人工标记所述mark点在图片中的位置；

S4、对所述训练集中的图片进行旋转、平移和改变亮度以扩增数据；

S5、采用人脸关键点算法的训练模型对扩增的所述训练集中的图片数据进行训练，得到所述mark点在图片中的位置信息；

S6、将所述摄像机拍摄到的图像分别输入到网络模型中得到标记的mark点，使用opencv斑点检测法检测所述mark点，并且使用LK光流法跟踪所述mark点；

S7、将采用所述训练模型训练得到的mark点与所述opencv检测到的mark点相匹配，对没有匹配到的mark点加重显示，并根据实际情况对其位置进行矫正。

2.根据权利要求1所述的一种基于机器学习以及图像处理的面部动画捕捉矫正方法，其特征在于，步骤S1的所述摄像机的数量至少为两个。

3.根据权利要求1所述的一种基于机器学习以及图像处理的面部动画捕捉矫正方法，其特征在于，步骤S2所述的预处理为对所述摄像机拍摄的图片采用直方图均衡化操作。

4.根据权利要求1所述的一种基于机器学习以及图像处理的面部动画捕捉矫正方法，其特征在于，步骤S2的选取的间隔帧数为10张。

5.根据权利要求1所述的一种基于机器学习以及图像处理的面部动画捕捉矫正方法，其特征在于，步骤S6所述的使用opencv斑点检测法检测所述mark点的步骤如下：

P1、对待检测图像设定一个低阈值与一个高阈值，再设定一个阈值步进，按照所述阈值步进从所述低阈值到所述高阈值选取一系列的阈值；

P2、用选取的每一个阈值对所述图像进行二值化，使用findcontours函数查找图像的边，检测出所述图像的轮廓,并计算每一个图像的轮廓的中心；

P3、对应每一个所述图像的轮廓的中心进行抑制，定义一个最小距离，将所述距离区域内的特征中心定义为一个blob，得到mark点集合；

P4、对所述mark点进行过滤。

6.根据权利要求5所述的一种基于机器学习以及图像处理的面部动画捕捉矫正方法，其特征在于，步骤P4所述的过滤包括颜色过滤与面积过滤。