[发明专利]基于扩散模型的图文相关多分布采样方法和装置

权利要求书

1.一种基于扩散模型的图文相关多分布采样方法，其特征在于，包括：

获取待处理数据，所述待处理数据为图像数据、文本数据和图文数据中的一者；

根据预先设定的采样类型，确定待输入的噪声类型和/或噪声参数值；

将所述待处理数据、所述待输入的噪声类型和/或噪声参数值输入预先训练的图文相关多分布采样模型中，以得到采样结果；

其中，所述图文相关多分布采样模型是基于预先构建的神经网络利用样本数据对和在所述样本数据对中加入的噪声进行训练得到的，所述样本数据对为通过图像数据样本和文本数据样本构成的数据对。

2.根据权利要求1所述的基于扩散模型的图文相关多分布采样方法，其特征在于，基于预先构建的神经网络利用样本数据对和在所述样本数据对中加入的噪声进行训练得到图文相关多分布采样模型，具体包括以下步骤：

S1：获取样本数据对，所述样本数据对包括图像数据样本和文本数据样本；

S2：基于标准高斯分布获取目标图像噪声和目标文本噪声，获取图像噪声参数值和文本噪声参数值；

S3：根据所述图像噪声参数值，计算所述图像数据样本与所述图像噪声参数值的线性组合，得到加噪图像样本，根据所述文本噪声参数值，计算所述文本数据样本与所述文本噪声参数值的线性组合，得到加噪文本样本；

S4：将所述图像噪声参数值、所述文本噪声参数值、所述加噪图像样本和所述加噪文本样本输入图文相关多分布采样模型，得到图像噪声预测结果和文本噪声预测结果；

S5：计算所述图像噪声预测结果和目标图像噪声之差的二范数平方，以及所述文本噪声预测结果和目标文本噪声之差的二范数平方，以最小化两个二范数平方之和为目标，训练所述图文相关多分布采样模型的参数；

S6：重复步骤S1-S5，直至达到预设的训练迭代次数，将最后一次训练模型的参数作为最终模型的参数，以得到训练完成的图文相关多分布采样模型。

3.根据权利要求1所述的基于扩散模型的图文相关多分布采样方法，其特征在于，根据预先设定的采样类型，确定待输入的噪声类型和/或噪声参数值，具体包括：

若预先设定的采样类型为图像采样，确定待输入的噪声类型为文本噪声，并将待输入的文本噪声指定为标准高斯噪声，确定待输入的文本噪声参数值为预设范围内的最大值。

4.根据权利要求1所述的基于扩散模型的图文相关多分布采样方法，其特征在于，根据预先设定的采样类型，确定待输入的噪声类型和/或噪声参数值，具体包括：

若预先设定的采样类型为文本采样，确定待输入的噪声类型为图像噪声，并将待输入的图像噪声指定为标准高斯噪声，确定待输入的图像噪声参数值为预设范围内的最大值。

5.根据权利要求1所述的基于扩散模型的图文相关多分布采样方法，其特征在于，根据预先设定的采样类型，确定待输入的噪声类型和/或噪声参数值，具体包括：

若预先设定的采样类型为图文联合采样，确定待输入的图像噪声参数值与待输入的文本噪声参数值为相同预设值。

6.根据权利要求1所述的基于扩散模型的图文相关多分布采样方法，其特征在于，根据预先设定的采样类型，确定待输入的噪声类型和/或噪声参数值，具体包括：

若预先设定的采样类型为图到文采样，确定待输入的噪声类型为图像噪声，并将待输入的图像噪声指定为预设图像，确定待输入的图像噪声参数值为0。

7.根据权利要求1所述的基于扩散模型的图文相关多分布采样方法，其特征在于，根据预先设定的采样类型，确定待输入的噪声类型和/或噪声参数值，具体包括：

若预先设定的采样类型为文到图采样，确定待输入的噪声类型为文本噪声，并将待输入的文本噪声指定为预设文本，确定待输入的图像噪声参数值为0。