[发明专利]一种基于自动容错技术的分布式数据传输方法

说明书

技术领域

本发明涉及一种分布式数据传输方法，尤其是一种基于自动容错技术的分布式数据传输方法。本发明属于通信技术领域。

背景技术

随着现代企业互联网应用的规模越来越大，系统面对大量并发请求的处理能力越来越重要，在整个应用系统架构中，数据库层的访问速度会成为整个应用系统的瓶颈。数据缓存技术能够缓存数据库的查询结果，当下次访问同样数据时，可以直接从缓存中取，有效地降低了数据库层的访问负载量，提高了系统性能。但是，随着网络用户的不断增加，一台服务器的性能根本无法满足大量的并发请求，这种情况下就要使用服务器集群，而在集群环境下的数据传输就是分布式数据传输。

近年来出现了不少缓存产品，如Memcached，JBoss Cache，OSCache，Ehcache等，但是这些分布式缓存产品在数据冗余备份和失败恢复方面存在一定的不足。Memcached并不支持冗余备份，服务器端所有节点的缓存内容是互异的，如果一个节点出现故障宕机，那么该节点保存的所有数据也就没有了，所以Memcached存在单点失效问题。JBoss Cache支持两种冗余策略：全局复制和Buddy复制，全局复制将数据复制给集群中所有节点，保证在失败转移时可以转移到集群中任何一个节点，但它限制了系统的伸缩性；Buddy复制则挑选特定节点担当备份数据节点，但作为冗余备份的节点是通过其xml文件设置的，当备份节点失效时，就无法启动新的节点作为失效节点。OSCache提供的集群功能是非常有限的，无法让缓存中数据在各个节点间复制。Ehcache是一个Java语言开发的简单缓存系统，没有提供冗余备份和失败恢复功能。

现有的技术存在如下的弊端：数据传输中缓存节点易丢失、丢失后很难恢复。数据节点中的数据难以复制共享。传输数据由于采用了完全复制，限制了系统的伸缩性。系统实现的分布式数据传输存在一个明显缺点，就是当系统执行数据冗余备份或失败恢复功能时，网络中的数据传输量明显增大，对网络带宽的要求很高。

本方法采用Peer-To-Peer的拓扑结构，集群中每个缓存节点都知道其它所有节点的存在，每个节点可以与任一节点进行通信，这种结构具有单跳数据分发，低延时的特点。本方法作为数据传输，功能是完成对数据库查询结果的缓存，减少客户请求的处理时间，降低数据库端的负载，同时还要具有数据冗余备份和失败恢复的功能。

发明内容

本发明的目的在于：针对以上现有技术存在的不足，提供一种基于自动容错技术的分布式数据传输方法，以克服现有技术中数据传输中数据丢失、数据备份难、缓存失败不能恢复等问题。为了达到以上目的，本发明包含如下组成部分：

创建数据缓存模块——数据缓存模块是整个缓存系统的入口点，负责初始化系统的所有配置信息，建立和管理缓存对象，以及协调各模块间工作。

数据同步模块——当集群中某个节点的缓存数据过期或有数据更新时，如何保证所有节点间的缓存数据同步，这就需要有效的同步机制来保证缓存节点间的数据相同。

创建算法模块——本方法采用先进先出算法(FIFO)算法进行数据替换时，选择最早放入缓存的对象替换。该算法每次替换时，从缓存中选择更新时间或者创建时间最早的对象换出缓存。

数据通信模块——缓存通信模块提供了集群中节点间的相互交互，本方法基于TCP/IP通信协议，用于缓存节点间的通信。通信模块的调用是通过给复制缓存和分布式缓存注册监听器的方式实现的。

建立服务模块——可靠性服务模块功能是提供缓存节点间的数据迁移和失败恢复，当有新缓存节点加入集群或有节点退出集群时，可靠性服务模块会被动态的调用。

使用步骤为：

步骤一：创建数据缓存。建立数据缓存对象。并且对创建的每一个数据缓存对象进行管理。

步骤二：创建同步器。系统自动在每个节点添加同步器，数据在发送接收的时候自动启用同步器。

步骤三：算法计算，从缓存中选择更新时间或者创建时间最早的对象换出缓存数据对象。

步骤四：建立基于TCP/IP协议的通讯。将缓存的数据进行发送和接收，并且监听每一个节点。

步骤五：自动添加服务，新建立的缓存节点加入集群或节点退出集群时，可靠性服务模块会被动态的调用。

如此，通过本发明，分布式缓存数据传输适于应用在大规模的集群服务器中。具有数据冗余备份和失败恢复功能，并有着良好的稳定性。其他系统可以很方便的集成此方法。

具体实施方式

实施例一