[发明专利]数据预处理方法、装置、设备及计算机可读存储介质

说明书

本发明提供一种数据预处理方法、装置、设备及计算机可读存储介质，在模型的训练和预测两个阶段进行数据预处理，将同类型的实体进行整体的数值映射，使得同类型的实体能够得到统一的映射，得到映射后的向量，再将映射后的向量用于模型训练和预测，一方面可以降低同一类型的实体由于数据细节不同所带来的噪声，避免模型性能下降，另一方面，由于同一类型实体的进行了统一处理和整体映射，也使得数据具有更广泛的代表性，一条数据能够衍生为具有相似结构的一类数据，从而达到了语料增强的效果，从而在有限数据条件下有效地提高了数据泛化能力和鲁棒性，进而提高了模型预测效果。

技术领域

本发明涉及数据处理领域，尤其涉及一种数据预处理方法、装置、设备及计算机可读存储介质。

背景技术

在机器学习领域，例如NLP(自然语言处理)、图像处理、语音识别等方向的机器学习，其核心的思想是通过输入已标注的数据训练得到最优的模型，然后使用该模型对未知的数据进行预测。在这一过程中，输入的数据对模型的预测效果起着至关重要的作用。

而在选择输入的数据时，往往会面临产生一系列的问题，这些问题有时更是相互矛盾的。例如有些对实体敏感的领域，如果数据中实体的覆盖度不足，会造成模型在预测阶段的泛化能力受到限制，而如果扩展实体的范围，势必造成在特征空间中样本的重复，从而造成过拟合，且在实际操作中实体本身往往是很难全部覆盖的，因此现有机器学习模型的训练和预测过程中容易由于输入数据的缺陷而降低模型预测效果。

发明内容

本发明的主要目的在于提供一种数据预处理方法、装置、设备及计算机可读存储介质，旨在解决由于输入数据缺陷而降低模型预测效果的技术问题。

为至少实现上述目的，本发明实施例提供一种数据预处理方法，所述数据预处理方法包括：

获取训练数据，并对所述训练数据进行实体识别，获得第一目标实体；

根据所述第一目标实体和预设规则对所述训练数据进行数值映射，获得第一数值向量，并通过所述第一数值向量进行模型训练，得到训练完成的模型；

获取待预测数据，并对所述待预测数据进行实体识别，获得第二目标实体；

根据所述第二目标实体和所述预设规则对所述待预测数据进行数值映射，获得第二数值向量，并将所述第二数值向量输入所述训练完成的模型进行分析预测，得到所述待预测数据的预测结果，其中，同一类型的目标实体在所述第一数值向量和所述第二数值向量中对应相同数值。

此外，为实现上述目的，本发明实施例还提供一种数据预处理装置，所述数据预处理装置包括：

第一识别模块，用于获取训练数据，并对所述训练数据进行实体识别，获得第一目标实体；

第一映射模块，用于根据所述第一目标实体和预设规则对所述训练数据进行数值映射，获得第一数值向量，并通过所述第一数值向量进行模型训练，得到训练完成的模型；

第二识别模块，用于获取待预测数据，并对所述待预测数据进行实体识别，获得第二目标实体；

第二映射模块，用于根据所述第二目标实体和所述预设规则对所述待预测数据进行数值映射，获得第二数值向量，并将所述第二数值向量输入所述训练完成的模型进行分析预测，得到所述待预测数据的预测结果，其中，同一类型的目标实体在所述第一数值向量和所述第二数值向量中对应相同数值。

此外，为实现上述目的，本发明实施例还提供一种数据预处理设备，所述数据预处理设备包括处理器、存储器、以及存储在所述存储器上并可被所述处理器执行的计算机程序，其中所述计算机程序被所述处理器执行时，实现如上述的数据预处理方法的步骤。

此外，为实现上述目的，本发明实施例还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，其中所述计算机程序被处理器执行时，实现如上述的数据预处理方法的步骤。