[发明专利]一种兼容多数据库的分布式数据质量控制方法及系统

权利要求书

1.一种兼容多数据库的分布式数据质量控制方法，其特征在于，所述方法包括以下步骤：

步骤1，当多数据库系统中任意的计算节点出现新的任务进程，则向主控服务器节点发起任务请求；

步骤2，从计算节点同步任务进程的数据到主控服务器节点；

步骤3，主控服务器节点新建一个任务队列，并广播任务要求到所有计算节点；

步骤4，空闲计算节点反馈空闲消息给主控服务器节点；

步骤5，主控服务器节点按照接到空闲消息的空闲计算节点构建进程分配队列；

步骤6，按照进程分配队列进行任务分配；

步骤7，控制任务分配后子任务进程运算结果的数据质量。

2.根据权利要求1所述的一种兼容多数据库的分布式数据质量控制方法，其特征在于，多数据库系统包括有一个主控服务器节点以及多个计算节点构成分布式数据储存平台，oracle数据库的储存设备与分布式数据储存平台之间通过应用服务器进行连接，所述数据库的类型包括Oracle、GreenPlum、Hive、HBase、Phoenix、MySql、SQL Server、达梦。

3.根据权利要求2所述的一种兼容多数据库的分布式数据质量控制方法，其特征在于，分布式数据包括有业务数据，所述业务数据包括IP地址、端口、数据库名、用户名、密码数据。

4.根据权利要求3所述的一种兼容多数据库的分布式数据质量控制方法，其特征在于，

读取多数据库系统的数据源的分布式数据；所述多数据库系统包括多个数据库节点，每个数据库节点至少包括一个数据库；主控服务器节点将待执行的任务进程分配到空闲的计算节点中执行；当任务进程执行完成后，即把运算结果写回结果分析系统中，同时把此计算节点的状态变更为空间状态，等待下一个任务进程的分配并执行；主控服务器主要的功能是把分发待执行的任务进程到计算节点中，并对执行完成的任务进程和执行失败的任务进程进行复位，保障任务进程执行的完成。

5.根据权利要求1所述的一种兼容多数据库的分布式数据质量控制方法，其特征在于，在步骤7中，控制任务分配后子任务进程运算结果的数据质量的方法为：

进程分配队列Z_n＝(z₁,z₂,…z_n)^T为接到空闲消息的时间从k-1至k时刻的n个空闲计算节点的队列集合，主控服务器节点在k时刻将任务进程平均分为n个子任务进程，并按照进程分配队列的顺序依次分配子任务进程到Z_n中的各空闲计算节点；在Z_n中的计算节点运算完成后，用列向量表示z₁,z₂,…z_n整合以后的子任务进程运算结果的导数，则子任务进程的运算结果Z_i表示为：z_i＝z+(i-n)ν_i，i＝1,2,…n，ν_i表示子任务进程运算过程中的失败的任务，以向量形式表示为：Z_n＝W_nU+V_nT，其中，T＝Z_n^T，同时子任务进程运算过程中的失败的任务V_n＝(ν₁,ν₂,…ν_n)^T，其协方差阵为：cov[V_n]＝E[V_nV_n^T]＝diag(σ_r²,σ_r²…σ_r²)，其中σ_r²为整合以前的数据采集噪声方差。

6.一种兼容多数据库的分布式数据质量控制系统，其特征在于，所述系统包括：存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序运行在以下系统的单元中：

任务请求单元，用于在当多数据库系统中任意的计算节点出现新的任务进程，则向主控服务器节点发起任务请求；

同步任务单元，用于从计算节点同步任务进程的数据到主控服务器节点；

任务广播单元，用于主控服务器节点新建一个任务队列，并广播任务要求到所有计算节点；

空闲反馈单元，用于空闲计算节点反馈空闲消息给主控服务器节点；

分配队列构建单元，用于主控服务器节点按照接到空闲消息的空闲计算节点构建进程分配队列；

任务分配单元，用于按照进程分配队列进行任务分配；

数据质量控制单元，用于控制任务分配后子任务进程运算结果的数据质量。