[发明专利]从有限的修改后图像集合中学习的图像修改样式

说明书

本公开的实施例涉及从有限的修改后图像集合中学习的图像修改样式。经学习的样式系统接收对用作修改样式的基础的一个或多个修改后图像的选择。对于每个修改后图像，该系统创建修改存储器，其包括图像内容的表示和修改参数，该修改参数描述对该内容进行的用以产生修改后图像的修改。这些修改存储器被封装到样式数据中，被用来将修改样式应用于输入图像。在应用样式时，系统生成输入图像的图像表示，并且确定输入图像的表示与样式数据中的每个修改存储器的表示之间的相似性的度量。系统部分地基于这些相似性度量来确定用于应用修改样式的参数。系统根据所确定的参数修改输入图像以产生样式化图像。

技术领域

本公开总体上涉及内容编辑，并且更具体地涉及从有限的修改后图像集合中学习的图像修改样式。

背景技术

内容编辑系统包括各种工具，这些工具使得能够修改大量的数字视觉内容，诸如数字图像——其中一个示例是数字照片。用户能够以各种方式(例如，触摸功能性、手写笔、键盘和鼠标等)与这些内容编辑系统进行交互，以修改数字图像。例如，许多这样的系统支持用于修改数字图像的视觉特性的操作。这些系统经常对不同的视觉特性进行参数化，并暴露用户可以与之进行交互以调整参数值的组件。这样的参数的示例包括曝光、对比度、高光、阴影、白色、黑色、鲜艳度、对比度、清晰度、亮度、饱和度等。响应于参数的调整(例如，经由滑块)，内容编辑系统修改数字图像的对应视觉特性。通常用户对参数进行调整，以使其数字图像(或其数字图像的集合)具有一致的“观感”——使得其具有特定的“样式”。

传统系统包括用于将样式从这些样式化的数字图像传播到尚未被样式化的数字图像的功能性。例如，这些传统系统中的一些通过简单地复制样式化的数字图像的参数值然后将尚未被样式化的图像的参数值设置为等于复制的参数值来传播样式。但是，这些系统没有考虑如何将样式应用于不同图像中所描绘的不同场景，诸如如何将样式应用于描绘天空的图像与描绘室内场景的图像。这可能会导致通过简单地应用相同的一组被提取参数而生成的结果图像看起来具有不同的样式——不一致的外观。其他传统系统使用机器学习，诸如通过使用经训练的神经网络来传播样式。这些神经网络需要在训练期间暴露于数百、数千、甚至数百万个训练图像，以学习数字图像的视觉愉悦特性并学习修改的“样式”。因此，这些传统系统需要大量时间来训练机器学习模型，并且训练也可能会成为计算资源的负担，从而使其不适用于移动计算设备。

发明内容

为了克服这些问题，在数字媒体环境中利用了从有限的修改后图像集合中学习的图像修改样式。最初，经学习的样式系统接收对一个或多个修改后图像的选择，以用作修改样式的基础，诸如基于对修改后图像的用户选择，以创建新的样式或补充已经创建的样式。对于每个修改后图像，经学习的样式系统创建修改存储器，其包括图像内容的表示和修改参数，该修改参数描述了图像的内容如何被修改以产生修改后图像。经学习的样式系统通过以下来生成图像表示：处理图像内容并产生表示图像内容的缩减信息而不是图像内容的逐像素整体，例如照度和色度的分布以及特征矢量。经学习的样式系统从修改后图像中提取修改参数，并将这些与所生成的图像表示封装在一起，以形成修改存储器。然后将针对每个选择的图像的修改存储器封装到样式数据(例如，基于文本的文件)中，该样式数据可以被维护在存储装置中，并且后续被用来将修改样式应用于输入图像——以将输入图像修改为具有用作其基础的图像的修改样式。

例如，响应于对输入图像和要应用于该输入图像的修改样式的选择，经学习的样式系统将选择的样式应用于输入图像。为此，经学习的样式系统最初生成输入图像的图像表示。然后，经学习的样式系统确定输入图像的表示与由修改样式的数据所捕获的每个修改存储器的表示之间的相似性的度量。经学习的样式系统基于修改存储器的修改参数和所确定的相似性度量来确定用于将修改样式应用于输入图像的参数。通过根据这些所确定的参数来修改输入图像，经学习的样式系统产生具有修改样式的样式化图像。

本发明内容以简化的形式介绍了一些概念，这些概念将在下面的详细描述中被进一步描述。因此，本发明内容既不旨在标识所要求保护的主题的必要特征，也不旨在用于帮助确定所要求保护的主题的范围。