[发明专利]一种基于动态规划的分布式数据库系统协同优化方法

说明书

本发明公开了一种基于动态规划的分布式数据库系统协同优化方法。该方法包括以下步骤：采用数据流分块方法将分布式数据全集划分为若干不可再分的数据基元；并发处理任务的优化；分布式资源的负载平衡优化；计划任务的动态调度方法。本发明具有降维式搜索策略，在分布式大数据的多任务随发性处理过程中，保证了任务执行计划的全程最优化，具有效率高、负载均衡性好、资源利用率高和实时处理能力强的优点。

技术领域

本发明涉及一种基于动态规划的分布式数据库系统协同优化方法，属于互联网云计算和大数据领域。

背景技术

目前，在分布式数据库的并发任务优化领域，通行做法是先用一个通用的并发任务计划表述模型来描述任务计划，然后给出一个执行计划需要消耗的资源代价模型，最终制定执行策略，使得计划任务的代价最小。但以上思想在考虑到并发任务的同步性、优化过程自身的额外开销、多种同类资源的竞争以及数据倾斜和延迟性，使得高并发任务计划的建模很难精准，这在高并发分布式任务计划中，将对优化效果造成颠覆性的影响。

发明内容

为解决上述问题，本发明的目的在于提供一种基于动态规划的分布式任务协同优化方法，可将上述非确定性因素的影响降到最低。

本发明的技术方案为：

一种基于动态规划的分布式数据库系统协同优化方法，其特征在于，该方法包括以下步骤：

A.采用基于数据流分块方法，将分布式数据全集按照计划任务序列对数据单元的并更操作这一不可区分关系分块为一系列不可再分的数据基元；

B.并发处理任务的优化；

C.分布式资源的负载平衡优化，并计算出计划任务代价；

D.计划任务的动态调度方法。

进一步的，所述步骤A的具体实现方式为：

采用四元信息系统描述法，将分布式数据系统表示为INS＝(U,Fh,Vra,f)，其中INS表示目标分布式数据系统；U表示数据系统中所有个体的全集，是非空有限集；Fh表示个体的特征，是非空有限集；Vra表示特征Fh的值域；f为系统映射函数满足{f:U×Fh→V_ra}；因此，对任一特征Fh_i∈Fh，数据集U_i∈U，有如下算式：

其中，表示特征Fh_i的值集；

记分布式数据系统的数据集合InD＝{d₁,d₂…d_n}，d_i表示数据集中的一个数据单元，其中i∈[1,n]；计划任务序列MS＝{MS₁,MS₂…MS_q}，MS_j表示分布式数据系统中的一个并发操作任务，其中j∈[1,q]；则可得数据操作矩阵OPr：

将数据操作矩阵OPr映射到分布式数据系统INS＝(U,Fh,Vra,f)上，令U＝InD＝{d₁,d₂…d_n}，Fh＝MS＝{MS₁,MS₂…MS_q}，Vra＝OPr为特征Fh的值域，即Vra＝∪_1≤i≤n，_1≤j≤qOPr_ij；系统映射函数f:定义为计划任务序列中的任务对分布式数据集合InD中的d_i有变更操作的函数输出为A,无变更操作的输出为N；