[发明专利]为分类模型确定扰动掩模

权利要求书

1.一种用于为对于分类模型的输入实例来确定掩模的系统（100），所述掩模对干扰通过分类模型而对输入实例的分类的扰动进行指示，所述干扰使分类改变或使得分类不太确定，所述系统包括：

- 输入接口（120），其用于访问分类模型（040）和生成型模型（060），其中所述分类模型被配置用于确定输入实例的分类，所述输入实例具有一类型，并且其中所述生成型模型被配置用于根据隐空间表示来生成所述类型的合成实例，

- 处理器子系统（140），其被配置成：

- 获得针对分类模型的输入实例、根据分类模型而对输入实例的分类以及针对输入实例的隐空间表示，其中所述隐空间表示当被用作对于生成型模型的输入的时候，使得生成型模型生成近似输入实例的合成实例；

- 确定掩模，所述掩模对干扰通过分类模型而对输入实例的分类的扰动进行指示，其中所述掩模指示对于针对输入实例的隐空间表示的扰动，并且其中基于针对受扰动的输入实例的分类模型的分类评分来确定所述掩模，所述受扰动的实例使用掩模通过如下来被确定：

- 利用掩模来掩蔽隐空间表示；以及

- 使用所述生成型模型、根据受掩蔽的隐空间表示来生成受扰动的输入实例。

2.根据权利要求1所述的系统（100），其中所述处理器子系统（140）被配置成通过至少最小化在分类评分与分类阈值之间的差异来确定掩模。

3.根据权利要求1或2所述的系统（100），其中所述处理器子系统（140）被配置成通过至少最大化分类评分关于掩模的梯度来确定掩模。

4.根据前述权利要求中任一项所述的系统（100），其中所述处理器子系统（140）被配置成通过至少最小化鉴别器评分来确定掩模，所述鉴别器评分对在受扰动的输入实例与用于训练生成型模型的训练数据集之间的相异度进行量化。

5.根据前述权利要求中任一项所述的系统（100），其中所述处理器子系统（140）被配置成通过至少最小化掩模的范数来确定掩模。

6.根据前述权利要求中任一项所述的系统（100），其中所述生成型模型包括生成型对抗性网络的生成型部分或自动编码器的解码器部分。

7.根据前述权利要求中任一项所述的系统（100），其中所述分类模型是图像分类器，并且其中所述处理器子系统（140）被配置成获得输入图像作为输入实例，并且确定受扰动的输入图像作为受扰动的输入实例。

8.根据前述权利要求中任一项所述的系统（100），此外包括输出接口（160），其用于以感觉上可感知的方式向用户输出所确定的掩模和/或受扰动的输入实例。

9.根据前述权利要求中任一项所述的系统（100），其中所述处理器子系统（140）被配置成确定针对输入实例的隐空间表示的多个掩模，并且基于所述多个掩模来确定一稳定性值，所述稳定性值指示通过分类模型对输入实例的分类的稳定性。

10.根据权利要求9所述的系统（100），其中所述处理器子系统（140）被配置成通过如下来确定所述多个掩模中的掩模：随机生成针对掩模的初始值，并且基于所述初始值来迭代地更新掩模。

11.根据权利要求9或10所述的系统（100），其中所述处理器子系统（140）被配置成通过如下来确定所述稳定性值：计算所述多个掩模中的掩模的范数，并且根据所述范数来计算所述稳定性值。

12.根据前述权利要求中任一项所述的系统（100），其中所述处理器子系统（140）此外被配置成获得受扰动的输入实例的分类，以及至少使用受扰动的输入实例和分类来重新训练分类模型。