[发明专利]使用随机特征损坏的自监督对比学习

权利要求书

1.一种训练具有多个网络参数的神经网络的计算机实现的方法，所述方法包括：

从未标记训练数据集合中获得未标记训练输入，所述未标记训练输入在多个特征维度中的每一个中具有相应特征；

使用所述神经网络依照所述多个网络参数的当前值来处理所述未标记训练输入以生成所述未标记训练输入的第一嵌入；

生成所述未标记训练输入的损坏版本，包括：

从所述多个特征维度中确定特征维度的真子集，并且

对于在所述特征维度的真子集中的每一个特征维度，使用从所述未标记训练数据集合中所指定的该特征维度的边缘分布中采样的一个或多个特征值来对该特征维度中的所述相应特征应用损坏；

使用所述神经网络依照所述多个网络参数的所述当前值来处理所述未标记训练输入的所述损坏版本以生成所述未标记训练输入的所述损坏版本的第二嵌入；以及

基于计算对所述第一嵌入与所述第二嵌入之间的差异进行求解的对比学习损失函数的相对于所述多个网络参数的梯度，确定对所述多个网络参数的所述当前值的更新。

2.根据权利要求1所述的方法，其中，所述对比学习损失函数包括噪声对比估计(NCE)损失函数。

3.根据权利要求2所述的方法，其中，所述NCE损失函数包括InfoNCE损失函数。

4.根据权利要求1所述的方法，其中，确定所述特征维度的真子集包括按均匀随机性从所述多个特征维度中采样所述特征维度的真子集。

5.根据权利要求4所述的方法，其中，所述特征维度的真子集是依照指定要选择的特征维度的总数的预定损坏率来按均匀随机性采样的。

6.根据权利要求1所述的方法，其中，所述一个或多个特征值是从跨所述未标记训练数据集合中的所述未标记训练输入出现在所述特征维度中至少阈值次数的所述特征值上的均匀分布中采样的。

7.根据权利要求6所述的方法，其中，所述阈值是一。

8.根据权利要求1所述的方法，其中，使用所述一个或多个特征值来对所述相应特征应用所述损坏包括用所述一个或多个特征值替换所述相应特征。

9.根据权利要求1所述的方法，其中，至少一个特征维度中的特征是数值特征。

10.根据权利要求1所述的方法，其中，至少一个特征维度中的特征是分类特征。

11.根据权利要求1所述的方法，其中，第一特征维度中的特征是数值特征并且第二特征维度中的特征是分类特征。

12.根据权利要求1-11中的任一项所述的方法，其中，所述神经网络包括具有多个编码器网络参数的编码器子神经网络和具有多个嵌入生成网络参数的嵌入生成子神经网络。

13.根据权利要求12所述的方法，进一步包括：在所述未标记训练数据集合上训练所述神经网络之后，使所述编码器子神经网络适应特定机器学习任务，包括使用包括标记训练输入的标记数据来调整所述多个编码器网络参数的学习值。

14.根据权利要求13所述的方法，其中，使所述编码器子神经网络适应所述特定机器学习任务还包括：

使用所述编码器子神经网络依照所述多个编码器网络参数的所述学习值来处理标记训练输入以生成所述标记训练输入的嵌入；

使用输出子神经网络依照多个输出网络参数的当前值来处理所述嵌入以生成训练输出；

计算对所述训练输出与和所述标记训练输入相关联的真实值输出之间的差异进行求解的监督学习损失函数；以及

基于计算所述监督学习损失函数相对于所述多个编码器网络参数和相对于所述多个输出网络参数的梯度，确定对所述多个编码器网络参数的所述学习值的调整。