[发明专利]一种基于单双日期的数据处理方法及系统

说明书

本发明公开了一种基于单双日期的数据处理方法，包括：获取当前日期；根据当前日期所属的单双日类别，选取当前日期的主服务器集群及辅服务器集群；获取待分配的数据处理任务的类型；根据数据处理任务类型，将数据处理任务分配给相应的服务器集群进行处理。此外，本发明还公开了一种基于单双日期的数据处理系统，包括控制中心、单日服务器集群、双日服务器集群。通过本发明，可以实现同时进行数据分析和数据上传操作，克服了单套系统存在的单入口服务资源负载过重的弱点，且通过在这两套服务器集群中合理安排数据处理任务，优化了整体服务器计算资源的利用率。

技术领域

本发明涉及数据处理领域，尤其涉及一种基于单双日期的数据处理方法及系统。

背景技术

在大数据分析系统中，分析任务和集群数据处理任务经常出现争夺资源的冲突，例如在上传数据的实时数据处理过程中，会占用大部分数据资源，而此时若有数据分析，则需要等待上传数据结束后才能够进行。同时还存在单套大数据分析平台出现故障时，不能够及时处理，导致所有任务滞留等现象。

发明内容

为了克服上述技术缺陷，本发明提供了一种基于单双日期的数据处理方法及系统，具体方案如下：

本发明公开了一种基于单双日期的数据处理方法，包括：

S100获取当前日期；

S200根据所述当前日期所属的单双日类别，选取所述当前日期的主服务器集群及辅服务器集群；

S300获取待分配的数据处理任务的类型；

S400根据所述数据处理任务类型，将所述数据处理任务分配给相应的服务器集群进行处理。

优选地，所述步骤S200包括：

S210判断所述当前日期是否是单日，若是，进入步骤S220，否则进入步骤S230；

S220选取所述单日服务器集群作为主服务器集群，且选取所述双日服务器集群作为辅服务器集群；

S230选取所述双日服务器集群作为主服务器集群，且选取所述单日服务器集群作为辅服务器集群。

优选地，所述步骤S400包括：

S410当所述待分配的数据处理任务为实时性数据处理任务时，将所述实时性数据处理任务分配给所述主服务器集群进行处理；或

S420当所述待分配的数据处理任务为实时性数据处理任务时，判断所述实时性数据处理任务的数据量是否比预设的第一参考数据量大，若是，进入步骤S422，否则，进入步骤S421；

S421将所述实时性数据处理任务分配给所述主服务器集群进行处理；

S422将超出所述第一参考数据量的数据分配给所述辅服务器集群进行实时处理，其余的实时性数据通过所述主服务器集群进行处理，进入步骤S423；

S423当所述辅服务集群上的实时性数据处理完毕后，将所述辅服务器集群处理后的实时性数据迁移至所述主服务器集群。

优选地，所述步骤S400还包括：S430当所述待分配的数据处理任务为非实时性数据处理任务时，根据预设的非实时性数据分配策略，将所述数据处理任务分配给相应的服务器集群进行分析处理。

优选地，所述步骤S430包括：

S431判断所述非实时性数据处理任务的数据处理量是否比预设的第二参考数据量大，若是，进入步骤S432，否则进入步骤S433；

S432将所述非实时性数据处理任务分配给所述辅服务器集群进行处理；

S433分别获取所述主服务器集群、辅服务器集群的计算资源占用情况；