[发明专利]安全多方数据融合与联邦共享方法、装置、设备及介质

说明书

本发明公开了一种安全多方数据融合与联邦共享方法，涉及计算机技术领域，包括以下步骤：根据获取的数据集成需求得到对应的多个数据源；从第一数据集成视图中的多个候选字段中确定目标字段，根据第一数据映射表得到目标字段与各数据表字段之间的映射关系结合多个数据源中各数据表字段与元数据间的对应关系，从多个数据源的数据库中加载与目标字段对应的元数据描述的原始数据并作为第一目标数据存储至多个数据源所在的内存上生成第一数据仓库。该方法可以实现多方数据在逻辑上的融合，有利于提升数据安全，效率高，能适应多样性的数据集成需求，节省存储资源。本发明还公开一种安全多方数据融合与联邦共享装置、电子设备和计算机存储介质。

技术领域

本发明涉及计算机技术领域，尤其涉及一种安全多方数据融合与联邦共享方法、装置、电子设备及存储介质。

背景技术

随着大数据技术的发展，常常需要根据数据应用目的，将来自不同数据源的数据进行建模分析，而不同数据源往往分别统计数据，数据采集标准不统一，导致数据在构建之初就存在差异，难以形成数据合力，并且不同数据应用目的，所需数据的来源也不尽相同。比如，新型冠状病毒感染的肺炎的爆发，为公共卫生管理和疫情防控带来了很大的挑战，尤其正逢中国传统春节期间，人员流动性大，导致疫情传播的风险非常高，运用大数据技术可以精准掌握疫区人员信息，定向指导各类人群的风险识别和居家隔离措施，甚至用于疫情研判和趋势分析，当构建疫情预测模型是疫情应用目的时，可能需要来自于不同地区的不同医院的疫情数据，当追踪传播路径是疫情应用目的时，可能需要多家医院的疫情数据、航空铁路的交通数据甚至社交平台的社交关系数据等。

传统的数据集成方法主要是将多个数据源的数据统一存放在一个服务器上以实现物理上的数据汇集，效率低下，并且难以满足多变的数据应用目的，而且当所有用户在不同领域的个人信息（比如医疗信息、公共交通信息、家庭关系信息）汇集存放在一个服务器上后，一旦信息遭到窃取泄露轻则损害个人隐私以及个人企业利益，严重的甚至会极大损害国家利益及国家安全。因此，亟需将不同数据源的数据根据数据应用目的实现逻辑上的安全融合，而不是物理上的数据集成。

发明内容

为了克服现有技术的不足，本发明的目的之一在于提供一种安全多方数据融合与联邦共享方法，其根据预先生成的第一数据集成视图和第一数据映射表从数据集成需求对应的多个数据源的数据库中加载第一目标数据，并对应存储在多个数据源的内存上得到第一数据仓库，实现多方数据在逻辑上的融合，安全可靠，可以适应多样性的数据集成需求。

本发明的目的之一采用以下技术方案实现：

获取数据集成需求；

根据所述数据集成需求得到对应的多个数据源，其中，每个数据源具有数据库，所述数据库包括描述原始数据的元数据以及对应表示所述元数据含义的数据表字段；

基于预先存储的第一数据集成视图和第一数据映射表从所述多个数据源的数据库中加载第一目标数据，包括：从所述第一数据集成视图中的多个候选字段中确定目标字段，根据所述第一数据映射表得到所述目标字段与所述多个数据源的数据库中的各数据表字段之间的映射关系，根据所述多个数据源的数据库中各数据表字段与元数据间的对应关系以及所述映射关系，得到与所述目标字段对应的元数据并将与所述目标字段对应的元数据描述的原始数据作为第一目标数据；

将所述第一目标数据存储至所述多个数据源所在的内存上生成第一数据仓库。

进一步地，所述第一数据集成视图和所述第一数据映射表通过下述方式生成，包括：

对表示相同含义的各数据表字段进行标准化处理得到与各数据表字段具有相同含义的候选字段；

由表示不同含义的多个候选字段构成所述第一数据集成视图；

将所述多个数据源的数据库中表示相同含义的各数据表字段与各所述数据表字段表示相同含义的候选字段建立映射关系，生成所述第一数据映射表。