[发明专利]数据预处理方法、装置、设备及计算机可读存储介质

摘要

本发明提供一种数据预处理方法、装置、设备及计算机可读存储介质，在模型的训练和预测两个阶段进行数据预处理，将同类型的实体进行整体的数值映射，使得同类型的实体能够得到统一的映射，得到映射后的向量，再将映射后的向量用于模型训练和预测，一方面可以降低同一类型的实体由于数据细节不同所带来的噪声，避免模型性能下降，另一方面，由于同一类型实体的进行了统一处理和整体映射，也使得数据具有更广泛的代表性，一条数据能够衍生为具有相似结构的一类数据，从而达到了语料增强的效果，从而在有限数据条件下有效地提高了数据泛化能力和鲁棒性，进而提高了模型预测效果。