[发明专利]数据标准化的方法、装置、设备及存储介质

权利要求书

1.一种数据标准化的方法，其特征在于，包括：

获取第一数据项目和第二数据项目，其中，所述第一数据项目和所述第二数据项目为待标准化的数据集中的任意两个数据项目；

将所述第一数据项目分别转换为字面表示对应的第一向量和含义表示对应的第二向量，将所述第二数据项目分别转换为字面表示对应的第三向量和含义表示对应的第四向量；

计算所述第一向量和所述第三向量之间的相似度，计算所述第二向量和所述第四向量之间的相似度；

根据所述第一数据项目和所述第二数据项目之间的相似度的计算方式，分别计算所述待标准化的数据集中两两数据项目之间的相似度，得到所述待标准化的数据集字面表示对应的第一相似矩阵，以及所述待标准化的数据集含义表示对应的第二相似矩阵；

将所述第一相似矩阵和所述第二相似矩阵加权融合，得到所述待标准化的数据集的相似度矩阵；

根据所述待标准化的数据集的相似度矩阵，对所述待标准化的数据集中数据项目进行标准化分类；

所述将所述第一数据项目分别转换为字面表示对应的第一向量和含义表示对应的第二向量的步骤，包括：

获取所述第一数据项目对应的n-gram表示方式，以及所述第一数据项目对应的项目类别；

根据所述第一数据项目对应的n-gram表示方式，构造所述第一向量；

在所述项目类别中捕获所述第一数据项目对应的上下文关系；

根据所述第一数据项目对应的上下文关系，构造所述第二向量；

所述根据所述第一数据项目对应的上下文关系，构造所述第二向量的步骤，包括：

将所述第一数据项目对应的项目类别中包含的所有数据项目组成数据项目集合；

在所述数据项目集合中以两两组合的方式，构造数据项目对；

将所述数据项目对输入第一神经网络，得到所述第二向量；

n-gram包括1-gram、2-gram和3-gram，所述根据所述第一数据项目对应的n-gram表示方式，构造所述第一向量的步骤，包括：

将所述第一数据项目分别对应转化成1-gram表示方式、2-gram表示方式和3-gram表示方式；

将1-gram表示方式、2-gram表示方式和3-gram表示方式依次组合成特征组合；

将所述特征组合输入第二神经网络，得到所述第一向量。

2.根据权利要求1所述的数据标准化的方法，其特征在于，所述将所述第一数据项目分别对应转化成1-gram表示方式、2-gram表示方式和3-gram表示方式的步骤之前，包括：

判断所述第一数据项目中是否存在预设字符，其中所述预设字符为中文和英文之外的字符；

若是，则删除所述预设字符；

判断删除所述预设字符的所述第一数据项目中是否存在大写英文字符；

若是，则将所述大写英文字符修改为小写英文字符。

3.根据权利要求1所述的数据标准化的方法，其特征在于，所述计算所述第一向量和所述第三向量之间的相似度的步骤，包括：

将所述第一向量和所述第三向量代入指定计算公式，其中，所述指定计算公式为：其中，similarity表示相似度，A表示所述第一向量，B表示所述第三向量，所述第一向量和所述第三向量具有相同的向量维度，n表示向量维度，i表示第i个向量维度；

将所述指定计算公式的输出值，作为所述第一向量和所述第三向量之间的相似度。

4.根据权利要求1所述的数据标准化的方法，其特征在于，所述根据所述待标准化的数据集的相似度矩阵，对所述待标准化的数据集中数据项目进行标准化分类的步骤，包括：

判断所述待标准化的数据集的相似度矩阵中是否存在第三数据项目，其中，所述第三数据项目与所述待标准化的数据集第三数据项目之外的数据项目的相似度均小于预设阈值；

若是，则将所述第三数据项目作为新项目类别；

在所述待标准化的数据集的相似度矩阵中与获取第四数据项目相似度最大的指定数据项目，其中，所述第四数据项目、所述指定数据项目均为所述待标准化的数据集第三数据项目之外的任一数据项目；

将所述第四数据项目和所述指定数据项目合并为同一个项目类别。