[发明专利]基于扩散模型的图文相关多分布采样方法和装置

说明书

本发明提供一种基于扩散模型的图文相关多分布采样方法和装置，包括：获取待处理数据，待处理数据为图像数据、文本数据和图文数据中的一者；根据预先设定的采样类型，确定待输入的噪声类型和/或噪声参数值；将待处理数据、待输入的噪声类型和/或噪声参数值输入预先训练的图文相关多分布采样模型中，以得到采样结果；其中，图文相关多分布采样模型是基于预先构建的神经网络利用样本数据对和在样本数据对中加入的噪声进行训练得到的，样本数据对为通过图像数据样本和文本数据样本构成的数据对。本发明同时考虑多个图文分布，根据预先设定的采样类型进行加噪，采用图文相关多分布采样模型，实现多功能、普适性高，适用于多模态数据的多分布采样。

技术领域

本发明涉及机器学习技术领域，尤其涉及一种基于扩散模型的图文相关多分布采样方法和装置。

背景技术

扩散模型是一种深度生成模型，用于生成与训练它们的数据相似的数据，扩散模型的工作原理是通过连续添加高斯噪声来破坏训练数据，然后通过逆转这个噪声过程来学习恢复数据。训练后，我们可以使用扩散模型通过学习去噪过程简单地传递随机采样的噪声来生成数据。也就是说，模型由在带噪数据上的去噪模型所决定。

图文相关多分布建模问题指对图文数据的一族潜在分布进行建模的问题，这一族分布包括图像数据的边缘分布、文本数据的边缘分布、图文数据的联合分布、文到图的条件分布、图到文的条件分布。

针对图文数据的图文相关多分布建模问题，现有的扩散模型被设计为建模一个特定的分布，例如文到图的条件分布。在训练时，扩散模型会给图文数据中的图像加入噪声，然后再以带噪图像、原始文本、以及图像噪声大小为输入，去预测图像中的噪声。这样训练出来的扩散模型仅考虑单个分布，也就是说，现有的扩散模型无法支持任意多模态(图文)数据的多分布建模，例如，一个模型同时支持图像数据的边缘分布、文本数据的边缘分布、图文数据的联合分布、文到图的条件分布、图到文的条件分布等的建模。这就会导致现有的扩散模型用于采样时只具有单功能。

综上，现有的采样方法存在功能单一、普适性低的问题。

发明内容

本发明提供一种基于扩散模型的图文相关多分布采样方法和装置，用以解决现有技术中功能单一、普适性低的缺陷，实现多功能、普适性高的，适用于任意多模态数据的多分布采样的效果。

本发明提供一种基于扩散模型的图文相关多分布采样方法，包括：

获取待处理数据，所述待处理数据为图像数据、文本数据和图文数据中的一者；

根据预先设定的采样类型，确定待输入的噪声类型和/或噪声参数值；

将所述待处理数据、所述待输入的噪声类型和/或噪声参数值输入预先训练的图文相关多分布采样模型中，以得到采样结果；

其中，所述图文相关多分布采样模型是基于预先构建的神经网络利用样本数据对和在所述样本数据对中加入的噪声进行训练得到的，所述样本数据对为通过图像数据样本和文本数据样本构成的数据对。

根据本发明提供的一种基于扩散模型的图文相关多分布采样方法，基于预先构建的神经网络利用样本数据对和在所述样本数据对中加入的噪声进行训练得到图文相关多分布采样模型，具体包括以下步骤：

S1：获取样本数据对，所述样本数据对包括图像数据样本和文本数据样本；

S2：基于标准高斯分布获取目标图像噪声和目标文本噪声，获取图像噪声参数值和文本噪声参数值；

S3：根据所述图像噪声参数值，计算所述图像数据样本与所述图像噪声参数值的线性组合，得到加噪图像样本，根据所述文本噪声参数值，计算所述文本数据样本与所述文本噪声参数值的线性组合，得到加噪文本样本；

S4：将所述图像噪声参数值、所述文本噪声参数值、所述加噪图像样本和所述加噪文本样本输入图文相关多分布采样模型，得到图像噪声预测结果和文本噪声预测结果；