[发明专利]一种利用行列式点过程的采样方法及装置

说明书

本发明涉及机器学习领域，具体涉及一种利用行列式点过程的采样方法及装置。该方法及装置首先构建DPP概率模型，再使用DPP概率模型将图像掩码过程建模为行列式点过程，利用行列式点过程选取多样化的图像块，其中选取的图像块尽可能多的保留原图所包含的信息。可以为网络选取出更具有代表性的掩码后图像，减轻语义信息不对称对深度神经网络特征学习的影响，提升网络在下游任务的性能。

技术领域

本发明涉及机器学习领域，具体而言，涉及一种利用行列式点过程的采样方法及装置。

背景技术

自监督学习旨在通过使用仅基于输入功能生成的伪标签来求解辅助预测任务(或借口任务)来提取语义特征。尽管已经提出了各种任务以进行自我监督的学习，但一个直观的想法是通过从损坏的结构中恢复原始数据来学习表示。图像掩码自监督学习就是通过重建掩码过后的图像这一任务来达到特征学习的目的。这种方法首先由DenoisingAutoencoder引入，并在自然语言处理的应用中取得重大进展。该方法已经成为了自然语言处理中的例行程序。受益于新的神经网络架构，例如ViT等，图像掩码自监督学习正变得越来越流行。

行列式点过程(DPP)是用来建模多样性的一种概率模型。它对集合中相似元素的排斥特性为其应用带来了新的潜力。行列式点过程已经被用于解决多个机器学习问题中数据多样性的问题，例如高维数据中的特征提取，图像处理中的纹理选择以及通过选择各种句子来构建信息摘要。与DPP类似的还有一些先前的方法，例如马尔可夫网络(MRF)。但是，MRF假定排斥不取决于上下文，因此不能用于选择特定数量的子集。而DPP可以自然地通过核矩阵秩来实现这种限制。

Random Mask(RM)方法是将图像首先分为固定大小的图像块，该图像块通常较小，例如16*16像素；再对分好的图像块进行随机采样。每个图像块被选中的概率仅有25％。这种采样方式被称为Random Mask。Block Mask(BM)方法与RM类似，对图像同样进行随机掩码处理。不同的是，相较于RM，BM对图像进行更大范围的掩码处理，这种方式通常会产生单个比较大的掩码区域，例如100*100分辨率，每张图像通常会被掩盖掉50％的像素。该方法被称为Block Mask。

AttMask方法通过提取图像块之间的注意力权重来选择待输入到网络中的图像块。其选择的依据是，预先设定一个注意力权重阈值，丢弃其中注意力权重高于阈值的图像块，因为这些图像块通常包含较多的语义信息，保留注意力权重低于阈值的图像块。同时在这些丢弃的高注意力权重的图像块中，随机保留固定数量的图像块作为重建任务的提示。

综上，在现有的技术中，RM与BM都没有考虑到重建任务中不合理样本对的情况。他们通过随机的方式选取图像块，通常会丢失掉原图中重要的语义信息。例如，在一张场景为羊站在草坪上的图像里，若前景羊完全被掩码操作给掩盖掉，那么要求模型通过背景草坪去重建出羊便成为了一个不合理的样本对，即从单个草坪背景不包含任何推断出前景为羊的线索。假使这时再利用原图作为监督信号要求模型进行重建，就会产生不合理的梯度，从而阻碍模型的特征学习。在AttMask中，尽管保留了固定数量的图像块作为重建任务的提示，但其保留的图像块依旧是随机选取，并未考虑到图像块的颜色，纹理等信息，而这些信息也是图像重建的重要线索。同时其对注意力权重对阈值选取，保留数量的选取都对其方法性能产生重要影响，调节此类参数是一个费事，费力的过程。更重要的是，AttMask要求图像块之间的注意力权重作为输入，这一特性限制了其应用场景。

发明内容

本发明实施例提供了一种利用行列式点过程的采样方法及装置，以至少解决减轻语义信息不对称对深度神经网络特征学习的影响的技术问题。

根据本发明的一实施例，提供了一种利用行列式点过程的采样方法，包括以下步骤：

构建DPP概率模型；

使用DPP概率模型将图像掩码过程建模为行列式点过程，利用行列式点过程选取多样化的图像块，其中选取的图像块尽可能多的保留原图所包含的信息。