[发明专利]学习来选择类别特征的词汇

权利要求书

1.一种用于针对类别特征确定词汇的方法，其中，针对一个或多个类别特征中的每个类别特征，确定在由具有多个机器学习模型参数的机器学习模型对输入进行处理期间应该有效的该类别特征的类别特征值的相应词汇，所述方法包括：

使用具有多个控制器参数的控制器神经网络并且依照所述多个控制器参数的当前值来生成一个批次的输出序列，所述批次中的每个输出序列针对所述类别特征中的每个类别特征指定该类别特征的类别特征值的相应词汇，该相应词汇：(i)在由所述机器学习模型对输入进行处理期间应该是有效的，并且(ii)是该类别特征的可能类别特征值的离散集合的子集；

对于所述批次中的每个输出序列，在所述机器学习模型已经被训练成在仅由所述输出序列指定的每个类别特征的类别特征值的相应词汇有效的情况下执行机器学习任务之后确定所述机器学习模型在所述机器学习任务上的性能度量，其中在所述训练期间：

所述机器学习模型被配置成通过执行包括以下项的操作来处理包括相应类别特征的一个或多个可能类别特征值的输入：

对于仅所述输入中包括的由所述输出序列指定为有效的那些可能类别特征值，将所述可能类别特征值映射到在所述训练期间迭代地调整的对应嵌入；并且

针对所述输入处理所述嵌入以生成机器学习模型输出；以及使用所述批次中的所述输出序列的所述性能度量来调整所述控制器神经网络的所述多个控制器参数的当前值。

2.根据权利要求1所述的方法，其中：

所述批次中的每个输出序列附加地指定与在由所述机器学习模型对输入进行处理期间由所述输出序列指定为有效的每个类别特征值相对应的相应嵌入维数；并且

对于所述批次中的每个输出序列，在所述训练期间，所述机器学习模型被配置成将所述输入中包括的由所述输出序列指定为有效的每个可能类别特征值映射到具有由所述输出序列指定的所述嵌入维数的对应嵌入。

3.根据权利要求2所述的方法，其中，每个输出序列针对给定类别特征的不同类别特征值指定不同嵌入维数。

4.根据权利要求1所述的方法，其中：

所述机器学习模型包括与每个类别特征相对应的相应多个嵌入模型；

与类别特征相对应的嵌入模型定义所述类别特征的一个或多个类别特征值中的每个类别特征值到具有相应维数的所述类别特征值的对应子嵌入的映射；

所述批次中的每个输出序列针对所述类别特征中的每个类别特征指定与所述类别特征相对应的一个或多个嵌入模型；并且

将所述输入中包括的给定类别特征的给定类别特征值映射到对应嵌入包括：

针对由所述输出序列针对所述给定类别特征指定的定义所述给定类别特征值到对应子嵌入的映射的每个嵌入模型，使用所述嵌入模型来将所述给定类别特征值映射到所述对应子嵌入；并且

基于所述子嵌入确定所述给定类别特征值的嵌入。

5.根据权利要求4所述的方法，其中，基于所述子嵌入确定所述给定类别特征值的嵌入包括：

针对具有与指定的维数不同的维数的任何子嵌入，将所述子嵌入投影到所指定的维数。

6.根据权利要求5所述的方法，其中，基于所述子嵌入确定所述给定类别特征值的嵌入进一步包括对所述子嵌入进行求和或平均。

7.根据权利要求1所述的方法，其中，针对所述输入处理所述嵌入以生成机器学习模型输出包括：

对于每个类别特征，基于被包括在所述输入中并且由所述输出序列指定为有效的该类别特征的每个类别特征值的相应嵌入生成与该类别特征相对应的组合嵌入；以及

针对所述输入使用一个或多个神经网络层来处理所述组合嵌入以生成机器学习模型输出。

8.根据权利要求1所述的方法，进一步包括：

使用所述控制器神经网络并且依照所述多个控制器参数的调整值来生成新输出序列；以及

在训练数据上在仅由所述新输出序列指定的每个类别特征的类别特征值的相应词汇有效的情况下训练所述机器学习模型以确定所述机器学习模型参数的调整值。