[发明专利]一种异构结构化数据融合概率的计算方法及系统

权利要求书

1.一种异构结构化数据融合概率的计算方法，其特征在于，包括以下步骤：

S1数据读取，读取数据集，将数据集的各字段信息读入系统；

S2数据分析，将S1读取的数据集，按其结构化表项进行整理和统计，得到表项特征向量；

S3人工标注，将已融合过的数据集进行融合度人工标注，通过对比已融合过的数据集的表项特征向量与融合度人工标注结果，得到表项特征向量与融合度之间的概率模型；

S4建立机器学习模型，将S2和S3得到的结果进行机器学习训练，得到各数据集不同字段之间融合概率。

2.如权利要求1所述的异构结构化数据融合概率的计算方法，其特征在于，所述S1数据读取包括循环读取。

3.如权利要求1所述的异构结构化数据融合概率的计算方法，其特征在于，所述特征向量包括字段名称、字段数据类型、字段数据出现概率、缺失值概率、异常址概率和高概率值元数据。

4.如权利要求1所述的异构结构化数据融合概率的计算方法，其特征在于，所述S1包括优先读取目标数据集。

5.如权利要求1所述异构结构化数据融合概率的计算方法，其特征在于，还包括：S5降维处理，对S2得到的表项特征向量进行降低维度处理。

6.一种异构结构化数据融合概率的计算系统，其特征在于，包括：

数据载入模块，读取并输入数据集；

数据特征抽取模块，对于读取的每个数据集，按其结构化表项进行整理和统计，得到表项特征向量；

数据相关度训练标注模块，将已经融合过的数据集进行人工标注，通过对比其表项特征向量与标注结果，得到表项特征向量与融合度之间的概率模型；

融合训练模块，综合进行机器学习的训练，得到各数据集不同字段之间融合概率。

7.如权利要求6所述的系统，其特征在于，所述数据载入模块包括分布式平台，所述分布式平台用于循环读取各数据集。