[发明专利]数据生成方法、装置、电子设备及存储介质

说明书

本发明实施例提供了一种数据生成方法、装置、电子设备及存储介质，该方法包括：获取模型的多个训练样本数据，训练样本数据包括：多个特征值，其中，每一个特征值各自属于一个特征；对于每一个训练样本数据，对训练样本数据执行训练数据生成操作，该训练数据生成操作包括：对于多个特征值中的每一个特征值，从该特征值所属的特征对应的哈希表中查找出该特征值对应的标识值或分配特征值对应的标识值；生成训练样本数据对应的训练数据。实现了在生成每一个训练样本数据对应的训练数据时，无需对于每一个特征，对诸如百万级别的属于特征的特征值进行排序，为经过排序的特征值逐一分配特征值对应的标识值，从而，降低生成训练数据的开销。

技术领域

本发明涉及计算机技术领域，特别是涉及数据生成方法、装置、电子设备及存储介质。

背景技术

对于诸如深度学习模型的模型，在利用模型之前，需要利用大量的训练样本数据对模型进行训练。由于训练样本数据中包括各种不同的类型的特征的特征值，训练样本数据不能直接作为模型的输入，需要生成训练样本数据对应的训练数据，然后，将训练样本数据对应的训练数据作为模型的输入，对模型进行训练。

目前，通常采用的生成训练样本数据对应的训练数据的方式为：对于每一个特征，分别收集在所有训练样本数据中出现的所有属于该特征的特征值。对于每一个特征，将收集的属于该特征的所有特征值进行排序，然后，为属于该特征的每一个特征值分配一个标识值。在对于每一个特征，为属于该特征的每一个特征值分配一个标识值之后，任意一个训练样本数据中的任意一个特征值对应的标识值也随之确定，可以生成每一个训练样本数据各自对应的训练数据。

然而，由于每一个特征的特征值的取值空间均很大，通常至少为百万级别，对于每一个特征，均需首先对至少百万级别的属于该特征的特征值进行排序，然后，为至少百万级别的经过排序的特征值逐一分配特征值对应的标识值，导致生成训练数据的开销巨大。

发明内容

本发明实施例的目的在于提供一种数据生成方法、装置、电子设备及存储介质，以实现降低生成训练数据的开销。具体技术方案如下：

在本发明实施的第一方面，首先提供了一种数据生成方法，包括：

获取模型的多个训练样本数据，所述训练样本数据包括：多个特征值，其中，所述多个特征值中的每一个特征值各自属于一个特征；

对于每一个训练样本数据，对所述训练样本数据执行训练数据生成操作，所述训练数据生成操作包括：

对于所述多个特征值中的每一个特征值，以所述特征值作为关键字，确定在所述特征值所属的特征对应的哈希表中的所述特征值对应的存储位置；判断在所述特征值对应的存储位置是否存储有标识值；若是，将存储在所述特征值对应的存储位置的标识值作为所述特征值对应的标识值；若否，分配所述特征值对应的标识值，在所述特征值对应的存储位置存储所述特征值对应的标识值和所述特征值；

生成所述训练样本数据对应的训练数据，所述训练样本数据对应的训练数据包括：所述每一个特征值各自对应的标识值。

在本发明实施的第二方面，还提供了一种数据生成装置，包括：

样本数据获取单元，被配置为获取模型的多个训练样本数据，所述训练样本数据包括：多个特征值，其中，所述多个特征值中的每一个特征值各自属于一个特征；