[发明专利]一种基于大数据的数据治理方法和系统

说明书

本发明涉及一种基于大数据的数据治理方法和系统，所述方法包括：步骤S1：启动数据节点发起数据治理，并确定数据治理范围；步骤S2：在数据治理范围的确定过程中确定控制节点；步骤S3：控制节点基于系统图确定数据治理子图；步骤S4：基于数据治理子图作数据交换和共享；本发明能有效的减小内存和cpu的繁忙程度，大大提高了数据访问效率；实现业务系统对应数据节点之间的数据交换和共享，实现数据治理的目标，提升数据的价值。能够提供多层次有安全保障的数据治理，将集中式数据治理转换成部分随机分布式安全治理，通过局部数据交换和重定向实现高效的数据治理。

技术领域

本发明属于大数据处理技术领域，尤其涉及一种基于大数据的数据治理方法和系统。

背景技术

数据是大数据工程的基础和核心，其完整性、及时性以及质量是一切目标的保障条件。在大数据的支撑下经济和技术的发展走向“智慧化”，通过整合各类数据信息对社会各个生产领域的运行状况进行监测，实现安全生产管理工作的改进和优化。通过对大数据的数据信息的实时采集、数据存储、数据分析和综合查询，使得各行各业能够高效率的捕捉、发现和分析，能够经济地从类型繁杂、数量庞大的数据中挖掘出有价值的信息，从而为各行各业生产运行综合管理、综合调度、综合协调、综合指挥提供数据支撑。但是因为机构组织、业务系统、数据平台的不同，很多数据组织呈现各自为阵、数据不共用、重复数据，信息互不相连、数据分布不均，数据平台的利用情况不平衡；从数据平台硬件角度看，也就是从数据内容透明的角度看，部分数据因为设备容量问题而更新速度过快，造成关键数据提前主动丢失，而有些数据则无条件保留。如何进行大数据的有效管理和有效提供，使得大数据的提供满足用户访问请求的用户体验，是待解决的技术问题。本发明实现业务系统对应数据节点之间的数据交换和共享，实现数据治理的目标，提升数据的价值。能够提供多层次有安全保障的数据治理，将集中式数据治理转换成部分随机分布式安全治理，通过局部数据交换和重定向实现高效的数据治理。

发明内容

为了解决现有技术中的上述问题，本发明提出了一种基于大数据的数据治理方法和系统，所述方法包含：

步骤S1：启动数据节点发起数据治理，并确定数据治理范围；

步骤S2：在数据治理范围的确定过程中确定控制节点；

步骤S3：控制节点基于系统图确定数据治理子图；

步骤S4：基于数据治理子图作数据交换和共享。

进一步的，所述启动条件，具体为：当收到启动触发指令时，启动条件满足。

进一步的，为特定数据节点设置定时装置，当定时时间点到达时，所述特定数据节点成为启动数据节点。

进一步的，所述满足启动条件的启动数据节点发起数据治理并得到数据治理范围，具体为：启动数据节点随机选择P个直接相连的数据节点，发起启动指令给所述P个数据节点并将所述P个数据节点归入当前数据治理范围；所述P个数据节点中的每个数据节点重复随机选择P个直接相连的数据节点、发起启动指令、归入当前数据治理范围的步骤，直到终止条件满足；

在发起启动指令之前，将接收到的启动指令中上一级数据节点的历史平均繁忙程度和当前数据节点的繁忙程度比较，将其中的繁忙程度较小者及其对应的数据节点标识包含在启动指令中发出；

所述终止条件为：当前数据治理范围中的数据节点数量达到预设数量；

当前数据节点在发出启动指令前，请求将其选择的P个数据节点加入数据治理范围，如果加入所述P个数据节点后未超过数据治理范围大小，则允许并将所述P个数据节点加入数据治理范围；如果加入所述P个节点后超过数据治理范围，则终止条件满足，后续发出的加入数据范围的请求将均被拒绝；数据治理范围为参与本次数据治理的数据节点集合；数据治理范围的大小为数据节点集合的大小。

进一步的，预设数量为1000。