[发明专利]图像处理方法、装置、设备及介质

权利要求书

1.一种图像处理方法，包括：

分别从备选视频和目标视频中获取各自对应的备选图像和目标图像，其中所述备选视频是由讲话者录制的；

确定所述备选图像中所述讲话者覆盖嘴型区域的备选区域，以及确定所述目标图像中所述讲话者覆盖嘴型区域的目标区域；

将所述备选区域缩放至所述目标区域的大小；以及

使用经缩放的所述备选区域替换所述目标区域，

其中确定覆盖所述备选图像中的所述讲话者的嘴型的备选区域包括：

获取描述所述讲话者的面部特征的多个关键点；以及

基于所述多个关键点中的最左关键点、最右关键点和最下关键点，确定给定备选图像中的所述讲话者的覆盖嘴型区域的备选区域。

2.根据权利要求1所述的方法，其中确定所述备选区域包括：

基于所述最左关键点和所述最下关键点确定左替换区域；

基于所述最右关键点和所述最下关键点确定右替换区域；以及

基于所述左替换区域和所述右替换区域确定所述备选区域。

3.根据权利要求1所述的方法，进一步包括：

在所述最左关键点附近的预定范围内，沿着所述备选图像的横坐标的方向选择一组候选点；

获得所述一组候选点中的每个候选点的像素值与所述候选点周围点像素值之间的梯度值；以及

选择梯度值高于其他候选点的梯度值的候选点，基于所选择的候选点更新所述最左关键点；

在所述最右关键点附近的预定范围内，沿着所述备选图像的横坐标的方向选择另一组候选点；

确定所述另一组候选点中的每个候选点的像素值与所述候选点周围点的像素值之间的梯度值；以及

选择梯度值高于其他候选点的梯度值的候选点，基于所选择的候选点更新所述最右关键点。

4.根据权利要求1所述的方法，进一步包括：

在所述最下关键点附近的预定范围内，沿着所述备选图像的纵坐标的方向选择一组候选点；

确定所述一组候选点中的每个候选点的像素值与所述候选点周围点的像素值之间的梯度值；以及

选择梯度值高于其他候选点的梯度值的候选点，基于所选择的候选点更新所述最下关键点。

5.根据权利要求1所述的方法，其中

确定覆盖一组目标图像中的所述讲话者的嘴型的一组目标区域包括：在所述一组目标图像中的给定目标图像中，

获取描述所述讲话者的面部特征的多个关键点；以及

基于所述多个关键点中的最左关键点、最右关键点和最下关键点，确定覆盖所述给定目标图像中的所述讲话者的嘴型的目标区域。

6.根据权利要求1所述的方法，其中从所述目标视频获取目标图像包括：

基于替换请求所指定的待替换片段在所述目标视频中的位置，确定一组目标图像。

7.根据权利要求1所述的方法，还包括使用所述备选视频中的与所述备选图像相关联音频内容替换所述目标视频中的与所述目标图像相关联的音频内容。

8.一种图像处理装置，包括：

图像获取模块，被配置为分别从备选视频和目标视频中获取各自对应的备选图像和目标图像，其中所述备选视频是由讲话者录制的；

区域确定模块，被配置为确定所述备选图像中所述讲话者覆盖嘴型区域的备选区域，以及确定所述目标图像中所述讲话者覆盖嘴型区域的目标区域；

缩放模块，被配置为将所述备选区域缩放至所述目标区域的大小；以及

区域替换模块，被配置为使用经缩放的所述备选区域替换所述目标区域，

其中所述区域确定模块还被配置为：

获取描述所述讲话者的面部特征的多个关键点；以及

基于所述多个关键点中的最左关键点、最右关键点和最下关键点，确定给定备选图像中的所述讲话者的覆盖嘴型区域的备选区域。