[发明专利]一种多源主附实体结构模块化构建的处理方法

说明书

本发明公开了一种多源主附实体结构模块化构建的处理方法，利用主实体形成主实体静态库指标结构；通过自动触发机制，构建实体动态库；依据异源附属实体，自动补充完善实体动态库，促进实体动态库自成长；记录实体的应用场景等信息。本发明通过主实体静态库自动化识别构建、实体动态库自动识别构建、附属实体自动判别、实体动态库指标体系自动完善与应用场景记录等技术方法，能够区分相对不变的数据和经常变动的数据，做到多源数据的静态库和动态库分层存储，记录了数据归集的过程和应用场景，实现了多源数据的主附实体结构模块化构建，以及数据的关联存储与自增长；为数据溯源、数据关联分析提供了可行性的数据存储解决方案。

技术领域

本发明涉及大数据应用技术领域，特别是一种多源主附实体结构模块化构建的处理方法。

背景技术

针对多种来源的表格数据，指标多样化，现有处理技术大多采用分源处理、分库存储的处理方法，这种处理方法主要存在以下几个问题：

1)指标多样，数据庞杂。由于大多采用分源处理、分库存储的处理方法，缺少统一用于表示数据关系的结构，无法形成表达数据关系的标准化指标体系，导致指标繁多，缺少统一体系，数据量庞大，且相对独立。

2)隐含关系不能自动发现、提取与存储。现有技术由于缺少主附实体的模块化构建机制，通常没有或很难建立多源数据之间的关联关系，导致数据相对独立，数据之间的隐含关系无法自动发现；缺少主附实体的自动化提取机制，导致数据之间的关系无法自动提取和存储。

3)数据相对独立，无法自增补。现有技术在存储数据时，通常很少区分相对不变的数据和经常变动的数据，针对这两类数据无法有针对性的分别处理，缺少有效的数据之间关系的自动识别与融合机制，也就无法做到数据的关联存储与自增补。

发明内容

本发明提供一种多源主附实体结构模块化构建的处理方法，用于解决不同来源的多期表格数据的主附实体结构自动构建与数据自动融合、主实体与附属实体应用场景记录、以及实体动态库自动成长等问题，为数据溯源、数据关联分析提供可行性的数据存储解决方案。

为解决上述技术问题，本发明所采取的技术方案如下。

一种多源主附实体结构模块化构建的处理方法，具体包括以下步骤：

A1.从指标数据库IDB提取标准指标体系结构EIS，从实体题录项数据库EFDB提取主实体题录项MEFS，从原数据数据库OVDB提取数值项OV，利用单源主实体静态库自动识别构建器，形成主实体静态库指标结构，存入实体静态数据库RSDB；

A2.从实体静态数据库RSDB提取主实体静态库指标结构信息，从实体动态数据库RVDB提取动态库实体指标结构信息，利用实体动态库自动识别构建器，构建最新动态库实体指标结构，并存入实体动态数据库RVDB；

A3.从源B的实体题录项数据库EFDB提取附属实体题录项SEFS，从实体动态数据库RVDB提取动态库实体指标结构RVIS，利用附属实体自动加载判别器，判别附属实体是否融入实体动态数据库RVDB，并形成动态库临时实体指标结构RVIS'；

A4.从步骤A3读取动态库临时实体指标结构信息RVIS'，从指标数据库IDB提取标准指标体系结构EIS，利用实体动态库自动成长器，根据附属实体情况，自动补充完善指标体系，促使动态库自动成长，并存入实体动态数据库RVDB；

A5.从实体动态数据库RVDB读取动态库实体的相关信息，从源A的源应用场景数据库SDB读取源A的源、库、表应用场景的相关信息，从源B的实体应用场景数据库ESDB提取主实体M(M)与附属实体S(M)之间的应用场景ES，利用实体动态库应用场景提取器，记录实体动态数据库中数据来自的源、库、主实体、附属实体、主附实体间的应用场景信息，存入实体动态应用场景数据库SRVDB。

上述一种多源主附实体结构模块化构建的处理方法，步骤A1中所述主实体静态库指标结构的形成方法具体为：