[发明专利]一种实现数据库与缓存的数据同步的方法及装置

说明书

本申请公开了一种实现数据库与缓存的数据同步的方法及装置，用以更加便捷地实现数据库和缓存的数据同步，并提高数据同步的实时性和准确性。本申请提供的一种实现数据库与缓存的数据同步的方法，包括：读取数据模块按照预先配置的数据同步任务，从数据库中读取数据，并发送给所述数据同步任务关联的处理器；所述处理器接收所述数据，并按照预先配置的数据处理规则，对所述数据进行处理，以使得所述数据符合缓存要求，将处理后的数据发送给所述数据同步任务关联的数据写入模块；所述数据写入模块接收所述处理器发送的数据，并写入所述缓存。

技术领域

本申请涉及数据处理技术领域，尤其涉及一种实现数据库与缓存的数据同步的方法及装置。

背景技术

Tair是广泛应用的分布式键值(Key-Value，KV)存储，为无数业务场景提供了分布式缓存方案。Tair中的数据来源除了应用产生的业务数据(如页面html片段、用户访问结果)外，最主要的来源就是数据库了。数据库(Database，DB)作为最基础的数据存储，是需要持久化数据存储的最常用选择。但是关系型数据库在海量数据、高并发访问下面临诸多挑战，而Tair这种分布式KV存储在性能、可伸缩性、数据结构灵活性方面具有更优异的表现。所以对于那些访问量巨大的前台应用，通常会采用Tair替代DB作为主要的数据获取源。而如何将DB的数据写入到Tair中，以及保持DB与Tair数据的一致性，就是所有使用Tair的场景共同需要解决的问题。

现有技术中有如下数据同步方案：

方案一：设置较短的Tair缓存过期时间(expired Time)即可，让数据过期自动失效，使用时，先读取Tair，例如Tair中没有值，从DB补偿读取并回写，保持了DB与Tair的相对一致性。

方案二：双写，即在数据产生的源头，向DB写入数据的同时写入Tair。

但是，现有方案一的数据同步是相对同步，如对实时性要求较高，每次同步设置expired Time时长内实际是无法保证绝对同步的，极大的降低了缓存的命中率。

现有方案二的数据同步，将DB数据加工处理到Tair的转换逻辑，和数据写入到DB的业务逻辑耦合在了一起，而且每处写入/更新DB数据的位置都要同时更新Tair，这对日后的维护升级可能是个灾难。

综上所述，现有技术中的实现数据库和缓存同步的方案，数据同步的实时性和准确性较差，并且较为繁琐。

发明内容

本申请实施例提供了一种实现数据库与缓存的数据同步的方法及装置，用以更加便捷地实现数据库和缓存的数据同步，并提高数据同步的实时性和准确性。

本申请实施例提供的一种实现数据库与缓存的数据同步的方法，包括：

读取数据模块按照预先配置的数据同步任务，从数据库中读取数据，并发送给所述数据同步任务关联的处理器；

所述处理器接收所述数据，并按照预先配置的数据处理规则，对所述数据进行处理，以使得所述数据符合缓存要求，将处理后的数据发送给所述数据同步任务关联的数据写入模块；

所述数据写入模块接收所述处理器发送的数据，并写入所述缓存。

通过该方法，将DB数据同步至Tair的过程，抽象、分解为三个环节，即Reader(即读取数据模块)、Processor(即处理器)、Writer(数据写入模块)，分别执行数据的读取、处理、写入操作，将数据来源、数据处理逻辑、数据输出分别提取为三个规则保存并记录。用户只需要将三个内容通过配置数据同步任务的方式，记录保存下来，系统读取这些配置，将逻辑转化为动态的代码，针对每条数据同步任务，调取相应的Reader(即读取数据模块)、Processor(即处理器)、Writer(数据写入模块)进行处理，从而保证了数据同步的严谨性、实时性和准确性，并且数据同步更加便捷，维护起来更加简单。