[发明专利]人物线稿生成方法、装置、设备及介质

说明书

本发明公开了一种人物线稿生成方法，包括：获取目标人物图片；将所述目标人物图片输入至预先训练好的人物线稿模型中，通过人物线稿模型对目标人物图片进行转换，得到人物线稿；其中，人物线稿模型的训练方法，包括：获取人物图片和与人物图片对应的人物线稿；将人物图片输入至人物线稿模型的生成器中，生成与人物图片对应的线条图以及将线条图与人物图片对应的人物线稿输入至人物线稿模型的判别器中；分别计算第一损失函数、第二损失函数、第三损失函数，进行加权求和，得到总损失函数；对生成器与判别器进行迭代更新，使总损失函数达到预设条件。本发明可以让网络获得更好的几何信息及语义信息的提取及结合能力，以此生成更加优质及信息完整的线稿图像。

技术领域

本发明属于计算机视觉、多媒体技术及数字娱乐领域，具体涉及一种人物线稿生成方法、装置、设备及介质。

背景技术

人物线描(Character Line Drawing，简称Line Art)的目的是将图片/图像域中的信息转化为一个简化的表示域，并用基本的图形元素(如直线或曲线)表示平面的变化。它是一种抽象而灵活的艺术形式，其应用包括多种场景，如娱乐、关键艺术、漫画和计算机生成动画。高质量的线稿的绘制通常需要专业的艺术家或领域专家花费相当大的精力。更多的细节意味着在绘制过程中更多的困难，因此线稿艺术是被认为是一项劳动密集、费时费力、富有挑战性的艺术。

在深度学习领域关于线稿图的研究中，Zhang等人提出了一种分割填充机制来进行线稿艺术着色。首先将输入的用户涂鸦分成几组进行影响区域估计，然后对每组进行数据驱动的颜色生成过程。这些输出最终被合并，形成高质量的填充结果。Zheng等人首先设计了一个ShapeNet来学习线稿图中的三维几何信息，然后使用RenderNet来产生三维阴影。SmartShadow应用程序由三个数据驱动的工具组成，一个用于确定用户想要创建阴影的区域的阴影刷，一个控制阴影边界的阴影刷，以及一个基于估计的全局阴影方向生成整个图像阴影的全局阴影发生器。Li等人利用残差网络和对称跳过网络的思想，建立了基于CNN的方法来解决漫画图像的结构线提取问题。为了生成多种风格和未见过的肖像画。Yi等人利用非对称循环结构设计了一个新颖的肖像画生成架构，首次采用回归网络来计算APDrawing的质量分数。基于这个模型，定义了一个质量损失来指导网络生成高质量的APDrawings。Im2Pencil和将线稿图的生成过程作为一个独立的子任务，以促进漫画和插图的合成。

利用这些人工智能技术，是否可以自动完成人物图片到线稿风格的转换？本质上，这个问题可以看作是一个将人物图片/图片转换为线稿图表示域的图像到图像的翻译问题，而基于GAN的方法实际上也适用于解决这个问题。

图像翻译方法(例如Pix2pix、Cycle GAN)也可以自动完成人物图片到线稿风格的转换。但由于，(1)手工绘制的人物线条是抽象的和稀疏的，完全不同于其他图像翻译应用；(2)语义信息缺失导致线条不清晰和不完整的问题，无法实现高质量的人物绘图。

发明内容

鉴于以上所述现有技术的缺点，本发明提供一种人物线稿生成方法、装置、设备及介质，以解决上述技术问题。

本发明提供的一种人物线稿生成方法，所述方法包括：

获取目标人物图片；

将所述目标人物图片输入至预先训练好的人物线稿模型中，通过所述人物线稿模型对所述目标人物图片进行转换，得到人物线稿；其中，所述人物线稿模型的训练方法，包括：

获取人物图片和与人物图片对应的人物线稿；

将人物图片输入至人物线稿模型的生成器中，生成与人物图片对应的线条图，以及将所述线条图与所述人物图片对应的人物线稿输入至人物线稿模型的判别器中；

分别计算第一损失函数、第二损失函数、第三损失函数，所述第一损失函数为生成器的损失函数，所述第二损失函数用于表示所述人物线稿与所述线条图之间的误差，所述第三损失函数为判别器的损失函数；