[发明专利]分布式系统及数据增量更新方法

说明书

技术领域

本申请涉及计算机技术领域，尤其涉及一种分布式系统及数据增量更新方法。

背景技术

随着互联网的飞速发展，使用网络的用户越来越多，如何快速响应用户的请求已经是各个互联网公司争取用户的重要的手段之一。例如，一个包含海量信息的网站，如果该网站响应用户请求的速度过慢，随着时间的推移，该网站的用户量会有大量流失。

目前，可通过缓存例如分布式缓存的方式提高响应的速度，由于缓存的数据存放在内存中，并且在数据访问的过程中不需要与数据库，例如关系数据库进行交互，因此，相对于从数据库查询来说，直接从缓存取数据要快得多，通常情况下，从缓存中取数据最少要比从数据库中取数据快10倍以上，而且可以支持更大的并发访问量。

分布式缓存的关键技术在于确保缓存数据与数据库数据的一致性，现有的分布式缓存实现方案通常是首先在数据库中添加标记位，然后分布式缓存与服务器定时心跳，判断数据库中的数据标记是否变更。如果变更，则全量更新缓存中的数据。由于在数据变更的过程中要依赖数据库(Database，DB)，因此现有的分布式缓存技术存在以下几方面的问题：

1、在对数据变更时全量刷新，资源消耗量比较大。例如，假设数据总量是1000条记录，一次变更往往只会变更其中的几条，如果在变更过程中全量加载所有数据，计算资源消耗较大。

2、变更后的数据往往是以数据库中的数据为准，但是读写分离模式下，如果写数据库与读数据库之间数据产生延迟，将会导致应用无法读取到最新写入的变更信息。

3、在分布式缓存数据初始化的过程中，数据库的访问量大，数据库访问压力大，系统不稳定。

因此，基于分布式缓存的系统更新缓慢且不稳定。

发明内容

本申请旨在至少在一定程度上解决相关技术中的技术问题之一。

为此，本申请的第一个目的在于提出一种分布式系统，该系统可降低系统资源消耗，提高分布式客户端的数据增量更新速度和分布式系统的稳定性。

本申请的第二个目的在于提出一种数据增量更新方法。

为达上述目的，本申请第一方面实施例提出了一种分布式系统，包括服务器、分布式客户端和位于服务器和分布式客户端之间的中间件，中间件包括第一中间件，其中：服务器，用于向分布式客户端发送数据变更通知；分布式客户端，用于接收来自服务器的数据变更通知，根据数据变更通知向第一中间件发送变更数据获取请求，并接收第一中间件返回的变更数据；第一中间件，用于接收来自分布式客户端的变更数据获取请求，根据变更数据获取请求获取变更数据，并向分布式客户端返回变更数据。

本申请实施例的分布式系统，通过在服务器和分布式客户端之间增加中间件，使得分布式客户端可以优先从新增加的中间件中获得增量变更数据，由此，减少了对分布式系统中数据库的访问压力，降低了系统资源消耗，提高了分布式客户端的数据增量更新速度和分布式系统的稳定性。

为达上述目的，本申请第二方面实施例提出了一种数据增量更新方法，该方法包括：分布式客户端接收服务器发送的数据变更通知；以及分布式客户端根据数据变更通知从第一中间件获取变更数据，并向分布式客户端返回变更数据。

本申请实施例的数据增量更新方法，通过在服务器和分布式客户端之间增加中间件，使得分布式客户端可以优先从新增加的中间件中获得增量变更数据，由此，减少了对分布式系统中数据库的访问压力，降低了系统资源消耗，提高了分布式客户端的数据增量更新速度和分布式系统的稳定性。

附图说明

图1a是本申请一个实施例的分布式系统的结构示意图。

图1b是本申请一个实施例的分布式系统进行数据变更的示意图。

图2是本申请一个实施例的数据增量更新方法的流程图。

图3是本申请一个实施例的数据初始化过程的流程图。

具体实施方式

下面详细描述本申请的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本申请，而不能理解为对本申请的限制。

下面参考附图描述本申请实施例的分布式系统及数据增量更新方法。

图1a是本申请一个实施例的分布式系统的结构示意图，如图1a所示，该系统包括服务器10、分布式客户端20和位于服务器10和分布式客户端20之间的中间件30，中间件30包括第一中间件31，其中：