[发明专利]学习来选择类别特征的词汇

说明书

本公开涉及学习来选择类别特征的词汇。方法、系统和设备，包括在计算机存储介质上编码的计算机程序，以用于针对一个或多个类别特征中的每个类别特征确定在由机器学习模型对输入进行处理期间应该有效的所述类别特征的类别特征值的相应词汇。在一个方面中，一种方法包括：生成一个批次的输出序列，所述批次中的每个输出序列针对所述类别特征中的每个类别特征指定应该有效的所述类别特征的类别特征值的相应词汇；对于所述批次中的每个输出序列，在所述机器学习模型已经被训练成在仅由所述输出序列指定的每个类别特征的类别特征值的相应词汇有效的情况下执行机器学习任务之后确定所述机器学习模型在所述机器学习任务上的性能度量。

技术领域

本说明书涉及使用机器学习模型来处理数据。

背景技术

机器学习模型接收输入并且基于接收到的输入生成输出，例如，预测输出。一些机器学习模型是参数模型并且基于接收到的输入和该模型的参数的值生成输出。

一些机器学习模型是针对接收到的输入采用模型的多个层来生成输出的深度模型。例如，深度神经网络是包括输出层和一个或多个隐藏层的深度机器学习模型，所述一个或多个隐藏层均对接收到的输入应用非线性变换以生成输出。

发明内容

本说明书描述了一种作为计算机程序实现在一个或多个位置中的一个或多个计算机上的系统，所述系统训练机器学习模型，所述机器学习模型被配置成处理包括类别特征值的输入。如贯穿本说明书所用，类别特征是指仅能够假定可能特征值的离散(例如，有限)集合中的值的特征。

根据第一方面，提供了一种由一个或多个数据处理设备执行以用于针对一个或多个类别特征中的每个类别特征确定在由具有多个机器学习模型参数的机器学习模型对输入进行处理期间应该有效的所述类别特征的类别特征值的相应词汇的方法，所述方法包括：使用具有多个控制器参数的控制器神经网络并且依照所述控制器参数的当前值来生成一个批次输出序列，所述批次中的每个输出序列针对所述类别特征中的每个类别特征指定该类别特征的类别特征值的相应词汇，该相应词汇：(i)在由所述机器学习模型对输入进行处理期间应该是有效的，并且(ii)是该类别特征的可能类别特征值的离散集合的子集；对于所述批次中的每个输出序列，在所述机器学习模型已经被训练成在仅由所述输出序列指定的每个类别特征的类别特征值的相应词汇有效的情况下执行机器学习任务之后确定所述机器学习模型在所述机器学习任务上的性能度量，其中在所述训练期间：所述机器学习模型被配置成通过执行包括以下项的操作来处理包括相应类别特征的一个或多个可能类别特征值的输入：对于仅所述输入中包括的由所述输出序列指定为有效的那些可能类别特征值，将所述可能类别特征值映射到在所述训练期间迭代地调整的对应嵌入；并且针对所述输入处理所述嵌入以生成机器学习模型输出；以及使用所述批次中的所述输出序列的所述性能度量来调整所述控制器神经网络的控制器参数的当前值。

在一些实现方式中，所述批次中的每个输出序列附加地指定与在由所述机器学习模型对输入进行处理期间由所述输出序列指定为有效的每个类别特征值相对应的相应嵌入维数；并且对于所述批次中的每个输出序列，在所述训练期间，所述机器学习模型被配置成将所述输入中包括的由所述输出序列指定为有效的每个可能类别特征值映射到具有由所述输出序列指定的所述嵌入维数的对应嵌入。

在一些实现方式中，每个输出序列针对给定类别特征的不同类别特征值指定不同嵌入维数。

在一些实现方式中，所述机器学习模型包括与每个类别特征相对应的相应多个嵌入模型；与类别特征相对应的嵌入模型定义所述类别特征的一个或多个类别特征值中的每个类别特征至到具有相应维数的所述类别特征值的对应子嵌入的映射；所述批次中的每个输出序列针对所述类别特征中的每个类别特征指定与所述类别特征相对应的一个或多个嵌入模型；并且将所述输入中包括的给定类别特征的给定类别特征值映射到对应嵌入包括：针对由所述输出序列针对所述给定类别特征指定的定义所述给定类别特征值到对应子嵌入的映射的每个嵌入模型，使用所述嵌入模型来将所述给定类别特征值映射到所述对应子嵌入；并且基于所述子嵌入确定所述给定类别特征值的嵌入。