[发明专利]一种异构结构化数据融合概率的计算方法及系统

说明书

本发明公开一种异构结构化数据融合概率的计算方法，包括以下步骤：S1数据读取，读取数据集，将数据集的各字段信息读入系统；S2数据分析，将S1读取的数据集，按其结构化表项进行整理和统计，得到表项特征向量；S3人工标注，将已融合过的数据集进行融合度人工标注，通过对比已融合过的数据集的表项特征向量与融合度人工标注结果，得到表项特征向量与融合度之间的概率模型；S4建立机器学习模型，将S2和S3得到的结果进行机器学习训练，得到各数据集不同字段之间融合概率；本发明还公开了一种异构结构化数据融合概率的计算系统；本发明提供了一种能快速、智能进行数据融合概率计算的方法和系统。

技术领域

本发明涉及大数据应用领域，尤其涉及一种异构结构化数据融合概率的计算方法及系统。

背景技术

随着信息爆炸和数据的指数型增长，越来越多的公司、机构和部门积累了各自丰富多样的数据。在实际的数据融合分析过程中，往往需要数据分析师对于结构化数据的不同表项、字段加以人工的理解、标注、区分和对照，来判断某两个不同的数据表格之间是否具有相应的数据融合可能性。然而，这种人工的识别和判断速度远远赶不上数据量和数据源数目的增长，因此，需要通过机器学习和人工智能的手段，对于多来源、异构的结构化数据不同字段进行读取、统计、对比和判断，以从繁多的数据表格中找到具有相同、接近字段或者具有数据融合可能性的数据集。

因此,现有技术的数据融合概率的计算方法存在依赖人工带来的速度慢的问题。

发明内容

为解决上述技术问题，本发明提供了一种能快速、智能进行数据融合概率计算的方法和系统

一种异构结构化数据融合概率的计算方法，包括以下步骤：

S1数据读取，读取数据集，将数据集的各字段信息读入系统；

S2数据分析，将S1读取的数据集，按其结构化表项进行整理和统计，得到表项特征向量；

S3人工标注，将已融合过的数据集进行融合度人工标注，通过对比已融合过的数据集的表项特征向量与融合度人工标注结果，得到表项特征向量与融合度之间的概率模型；

S4建立机器学习模型，将S2和S3得到的结果进行机器学习训练，得到各数据集不同字段之间融合概率。

优选地，所述S1数据读取包括循环读取。

优选地，所述特征向量包括字段名称、字段数据类型、字段数据出现概率、缺失值概率、异常址概率和高概率值元数据；

字段名称，重点支持字段名称的模糊匹配，如“name”和“姓名”的对应可能性更大；

字段数据类型，重点关注数字、字符串等数字类型及数据长度；

字段数据出现概率，包括不同数值的概率分布，以及每个字符串中不同字母出现概率分布；

缺失值概率，即空白值占总表项的百分比；

异常址概率，包括数值异常和数据格式异常；

高概率值元数据，主要描述在字段中反复出现的高概率值的记录和出现频率规律。

优选地，所述S1包括优先读取目标数据集。

优选地，还包括：S5降维处理，对S2得到的特征向量进行降低维度处理。

本发明还提供了一种异构结构化数据融合概率的计算系统，包括：

数据载入模块，读取并输入数据集；

数据特征抽取模块，对于读取的每个数据集，按其结构化表项进行整理和统计，得到表项特征向量；