[发明专利]一种图像处理的方法及装置

权利要求书

1.一种图像处理的方法，其特征在于，所述方法包括：

在视频直播或视频录制场景中，利用人脸识别算法获取用户面部表情数据；

获取所述视频直播或视频录制场景中预设的拟人化三维模型的面部表情；

根据所述用户面部表情数据调整所述拟人化三维模型的面部表情，以使得所述拟人化三维模型的面部表情跟随所述用户面部表情而变化；

其中，所述利用人脸识别算法获取用户面部表情数据的步骤，具体包括：

利用人脸识别算法识别用户人脸后，标记用户人脸特定关键点位置；

根据所述特定关键点位置，检测所述特定关键点位置在预设时间的状态，所述特定关键点位置在预设时间的状态包括眼睛睁开/闭合状态、眼睛大小、眉毛挑动幅度、嘴巴开合大小中的至少一种；

利用人脸识别算法获取用户人脸在三维空间中的朝向信息以及用户眼睛的凝视方向；

其中，所述用户面部表情数据包括所述特定关键点位置在预设时间内的状态、所述用户人脸在三维空间中的朝向信息以及用户眼睛的凝视方向；

所述根据所述用户面部表情数据调整所述拟人化三维模型的面部表情，以使得所述拟人化三维模型的面部表情跟随所述用户面部表情而变化的步骤，具体包括：

将所述拟人化三维模型的眼睛部分处理成透明；将所述拟人化三维模型嘴部的上下唇之间处理处一条透明的缝隙，以处理绘制牙齿；

利用欧拉角进行旋转所述用户人脸在三维空间中的朝向信息得到旋转变化矩阵；

获取预先制作的眼部纹理和嘴部纹理，并将所述眼部纹理和嘴部纹理贴合到所述拟人化三维模型面部；

根据所述用户眼睛睁开/闭合状态以及眼睛大小和所述用户眼睛的凝视方调整所述眼部纹理；根据所述嘴巴开合大小调整所述嘴部纹理；

将所述旋转变换矩阵应用到所述拟人化三维模型，用来改变所述拟人化三维模型的朝向，使得所述拟人化三维模型的面部表情跟随所述用户面部表情变化；

所述根据所述用户面部表情数据调整所述拟人化三维模型的面部表情，以使得所述拟人化三维模型的面部表情跟随所述用户面部表情而变化的步骤，具体还包括：

在3D建模软件中，根据预设的预先制作好的骨骼动画随机套用生成小幅度的小动作和细微表情，并应用在所述拟人化三维模型的面部。

2.根据权利要求1所述的方法，其特征在于，所述特定关键点包括眼睛关键点、眉毛关键点和嘴巴关键点；

所述根据所述特定关键点位置，检测所述特定关键点位置在预设时间的状态的步骤，具体包括：

根据所述眼睛关键点计算用户眼睛睁开/闭合状态以及眼睛大小；

根据所述眉毛关键点计算用户眉毛挑动幅度；

根据所述嘴巴关键点计算用户嘴巴开合大小。