[发明专利]基于特征缩放的数据预处理方法

说明书

本发明涉及数据处理技术领域，具体为基于特征缩放的数据预处理方法，该方法包括以下内容：数据映射步骤，将待匹配数据的各个维度数据映射为数值数据；特征缩放步骤，将各个维度映射后的数据进行归一化、标准化以及缩放处理；相似度计算步骤，计算待匹配数据与目标数据的相似度。所述归一化采用min‑max归一化算法或mean归一化算法。本申请的基于特征缩放的数据预处理方法，能够从整体上对各个维度进行匹配，解决现有技术匹配不全面的问题。

技术领域

本发明涉及数据处理技术领域，具体为基于特征缩放的数据预处理方法。

背景技术

在业务系统中，通常会有搜索匹配的业务需求，传统的搜索匹配处理过程，主要包括精准匹配和模糊匹配两类，精准匹配时，对目标数据或搜索条件进行关键词拆分，然后判断拆分的关键词与待匹配数据对应的字段是否完全一致，并返回搜索结果；模糊匹配则是进行模糊化搜索，并不要求目标数据与搜索条件完全一致，其通常是对检索条件进行解析后，根据属性的相似度形成搜索结果。为了简化用户输入，业务系统通常使用模糊匹配，以尽可能增加检全率，确保用户可以得到自己想要的结果。

但是目前的模糊匹配主要是判断待匹配数据中是否包含搜索条件，进而形成匹配结果，这种匹配方式仅仅是各个数据维度单独进行匹配，数据考虑不全面，而不从数据整体的角度进行匹配，无法匹配出数据不同，但含义相似的情况，同时针对一些参数，需要用户指定范围，如日期、数值等，增加用户操作。

发明内容

本发明意在提供基于特征缩放的数据预处理方法，能够从整体上对各个维度进行匹配，解决现有技术匹配不全面的问题。

本申请提供如下技术方案：

基于特征缩放的数据预处理方法，包括以下步骤：

数据映射步骤，将待匹配数据的各个维度数据映射为数值数据；

特征缩放步骤，将各个维度映射后的数据进行特征缩放，所述特征缩放包括归一化处理、标准化处理中的一种或多种；

相似度计算步骤，计算待匹配数据与目标数据的相似度。

进一步，所述归一化处理采用min-max归一化算法或mean归一化算法。

进一步，特征缩放步骤采用以下公式进行标准化处理：

进一步，通过以下公式进行标准化处理：

其中，x为处理前的数据，x′为处理后的数据，||x||为取模。

进一步，所述相似度计算步骤包括：

将待匹配数据以及目标数据整理为数据向量；

计算待匹配数据与目标数据对应的向量的距离；

将距离映射为相似度。

进一步，将数据以及目标数据整理为数据向量步骤中，将待匹配数据整理为向量：

X＝[X₁,X₂,X₃…X_n]

将目标数据整理为向量：

Y＝[Y₁,Y₂,Y₃…Y_n]

计算数据与目标数据对应的向量的距离采用加权欧式距离算法进行计算：

其中，D(X,Y)表示向量X与向量Y之间的距离，Z_i为第i个维度对应的权重。