[发明专利]基于分布式服务器的数据回写方法及系统

说明书

技术领域

本发明涉及计算机网络存储技术领域，尤其涉及一种基于分布式服务器的数据回写方法及系统。

背景技术

随着计算机技术、信息技术，尤其是网络技术的飞速发展，数据信息已经成为整个社会最为关键的资源。而基于分布式网络服务公司采集的数据信息越来越多、越来越大，如何能够保证各个服务器快速而又及时地进行相互之间的数据通信，将某一节点服务器（简称节点）采集的数据及时回写到中控服务器（简称中控）的数据库，以便中控进行及时、有效的信息处理，是此类公司急需解决的问题。目前，为了解决多个节点采集数据向中控的数据库进行数据回写，主要采用以下几种方式：

方式一：不加任何控制，节点有数据就向中控的数据库进行回写，这种方式显然很不科学。

方式二：节点设定一个数据回写的数据量阀值，并采用先来先服务的方式，此种方式没有考虑到优先级问题，在实际项目中是一种解决方案，但是显然不甚合理。

方式三：采用逐个节点轮询的方式，但这种方式难以保证及节点服务器回写的优先级，也没有考虑的某一节点如果没有数据需要回写，从而造成整个系统的数据回写吞吐率偏低。

在服务器性能很好的基础上，上述三种方式基本上能够解决分布式服务器之间数据传输的问题。但是，当服务器性能一般或者节点采集的数据非常巨大的时候，上述三种方式就不能解决下述几种场景所出现的问题：

一、当大量节点同时向中控进行数据回写，而此时中控的网络传输已经饱和，无法同时处理如此多的数据回写请求，中控如何有效处理传输过来的数据。

二、多个节点向中控传输数据，有些节点的链路好、传输成功率高；而有些节点的链路不好、传输成功率低；在中控可负载的情况下，如何让各个节点的数据传输效率达到最大。

三、各个节点采集的数据有多有少，链路情况也各不相同；在中控可负载的情况下，如何让各个节点的数据传输效率达到最大。

若节点分布广泛，且采集的任务信息非常多，可想象的是，当中控没有进行数据回写操作控制，大量数据回写到中控的数据库时，中控的数据库将承受非常大的压力，由此可能造成如下问题：

1、多节点回写数据，可能造成某些节点一直未能回写数据，始终处于饥饿状态；

2、某些回写数据量少的节点获得更多的回写次数，造成回写吞吐率的降低；

3、某些回写数据量非常多的节点，一直占据回写较长的时间，使得其他节点长期的等待，得不到回写数据的机会，从而一直处于饥饿状态；

4、中控的数据库一直承受巨大的数据处理压力，严重时造成中控宕机。

综上可知，现有基于分布式服务器的数据回写技术，在实际使用上显然存在不便与缺陷，所以有必要加以改进。

发明内容

针对上述的缺陷，本发明的目的在于提供一种基于分布式服务器的数据回写方法及系统，其采用数据回写权重算法，由分布式架构的中控服务器智能分析各个节点服务器的数据回写操作，以便对数据回写操作进行及时而高效的判断和控制，进而提高了各个节点服务器的数据回写效率。

为了实现上述目的，本发明提供一种基于分布式服务器的数据回写方法，包括步骤有：

至少存在一个节点服务器向中控服务器发送数据回写请求；

所述节点服务器定时向所述中控服务器发送数据回写参数；

所述中控服务器根据所述数据回写参数和预定的权重策略，计算所述节点服务器对应的所述数据回写权重；

根据所述节点服务器的所述数据回写权重计算结果进行排序，所述中控服务器控制处理所述节点服务器的数据回写请求。

根据本发明所述的数据回写方法，所述数据回写参数包括有数据回写等待时间、剩余数据回写量和/或本次数据回写量；

所述权重策略包括：

所述数据回写等待时间越长并且有数据等待回写，则所述数据回写权重越大；

所述剩余数据回写量越多并且有数据等待回写，则所述数据回写权重越大；和/或

所述本次数据回写量越多并且有数据等待回写，则所述数据回写权重越大。

根据本发明所述的数据回写方法，所述数据回写参数还包括有最大容忍等待时间；

所述中控服务器根据所述数据回写参数和预定的权重策略，计算所述节点服务器对应的数据回写权重的步骤之前还包括：

判断所述节点服务器的所述数据回写等待时间是否超过所述最大容忍等待时间并且有数据要进行回写；

若是，则第一时间处理所述节点服务器的所述数据回写请求。

根据本发明所述的数据回写方法，所述数据回写参数还包括有最大容忍数据回写量；