[发明专利]数据字典标准化处理方法、装置、设备及存储介质

权利要求书

1.一种数据字典标准化处理方法，其特征在于，包括：

确认数据字典中目标字段下的当前字段值是否与数据标准中对应字段下的字段值全字匹配；

当所述当前字段值不与所述对应字段下的任一字段值全字匹配时，获取在指定特征下的第一记录与所述数据标准中每条记录的相似度；所述第一记录为所述当前字段值在所述数据字典中对应的记录，所述指定特征包括：在所述第一记录中除了所述目标字段之外的被指定的字段；

根据所述相似度确定所述数据标准中与所述第一记录匹配的目标记录；

读取所述第一记录和所述目标记录，并在将其拼接为一条记录后写入目标数据表；

按照预设的标准化处理逻辑对所述目标数据表中的记录进行自动处理。

2.如权利要求1所述的数据字典标准化处理方法，其特征在于，还包括：

当所述当前字段值与所述对应字段下的一个字段值全字匹配时，读取第一记录和第二记录，并在将其拼接为一条记录后写入所述目标数据表；所述第二记录为所述一个字段值在所述数据标准中对应的记录。

3.如权利要求1所述的数据字典标准化处理方法，其特征在于，所述获取第一记录与所述数据标准中每条记录在指定特征下的相似度，包括：

对所述第一记录中指定字段进行向量化，获得第一向量；

对所述数据标准中每条记录中指定字段进行向量化，对应获得所述每条记录中指定字段的第二向量；

确定所述第一向量与所述每条记录中指定字段的第二向量的相似度，形成相似度集合。

4.如权利要求3所述的数据字典标准化处理方法，其特征在于，所述根据所述相似度确定所述数据标准中与所述第一记录匹配的目标记录，包括：

确定相似度集合中的最大值；

确认所述最大值是否大于相似度阈值；

当所述最大值大于所述相似度阈值时，将所述数据标准中与所述最大值对应的记录，作为与所述第一记录匹配的目标记录。

5.如权利要求1所述的数据字典标准化处理方法，其特征在于，所述获取第一记录与所述数据标准中每条记录在指定特征下的相似度，包括：

对所述第一记录中多个指定字段进行向量化，对应获得所述第一记录中多个指定字段的第一向量集合；

对所述数据标准中每条记录中多个指定字段进行向量化，对应获得所述每条记录中多个指定字段的第二向量集合；

按照预设对比规则确定所述第一向量集合中的第一向量，与所述每条记录中多个指定字段的第二向量集合的第二向量的相似度，获得相似度矩阵。

6.如权利要求5所述的数据字典标准化处理方法，其特征在于，所述根据所述相似度确定所述数据标准中与所述第一记录匹配的目标记录，包括：

将所述相似度矩阵输入预设的匹配预测模型中，预测得到所述数据标准中与所述第一记录匹配的目标记录。

7.如权利要求6所述的数据字典标准化处理方法，其特征在于，所述匹配预测模型为基于机器学习模型的预训练模型。

8.一种数据字典标准化处理装置，其特征在于，包括：

全字匹配模块，用于确认数据字典中目标字段下的当前字段值是否与数据标准中对应字段下的字段值全字匹配；

相似度获取模块，用于当所述当前字段值不与所述对应字段下的任一字段值全字匹配时，获取在指定特征下的第一记录与所述数据标准中每条记录的相似度；所述第一记录为所述当前字段值在所述数据字典中对应的记录，所述指定特征包括：在所述第一记录中除了所述目标字段之外的被指定的字段；

记录匹配模块，用于根据所述相似度确定所述数据标准中与所述第一记录匹配的目标记录；

记录拼接模块，用于读取所述第一记录和所述目标记录，并在将其拼接为一条记录后写入目标数据表；

标准化处理模块，用于按照预设的标准化处理逻辑对所述目标数据表中的记录进行自动处理。