[发明专利]一种同步数据的方法和装置

说明书

本发明公开了一种同步数据的方法和装置，涉及计算机技术领域。该方法的一具体实施方式包括：将待更新的业务数据存储到缓存中；将所述缓存中发生过变更的业务数据存入当前滑动窗口；创建新的滑动窗口，将其作为当前滑动窗口，并将原滑动窗口中的业务数据同步到数据库中。该实施方式能够解决使用成本高、数据会丢失的问题。

技术领域

本发明涉及计算机技术领域，尤其涉及一种同步数据的方法和装置。

背景技术

当前，经常需要对大量实时数据进行监控统计，生成实时报表，比如对某分拣中心在某个时间段发货单量的实时统计。如果每发出一个订单就去更新数据库中的相关记录，由于分拣中心操作非常频繁，为了统计大量指标，就会对数据库相关表做频繁更新，从而对数据库造成非常大的压力，导致数据库CPU过高、主从延迟大等问题。

针对上述问题，目前有两种解决方案：第一，数据库分库分表，即使用多个数据库存储数据，减少单个数据库的压力；第二，在redis中存储数据库快照，每次对数据进行更新时，直接更新redis中的数据快照，然后通过定时任务把redis中存储的数据快照，同步到数据库中。

在实现本发明过程中，发明人发现现有技术中至少存在如下问题：

1)使用分库分表的方式进行数据存储，会浪费大量的数据库资源，使成本过高；并且有些实时报表数据量比较小，只是数据更新次数非常多，使用分库分表不太合适；

2)使用redis缓存数据快照，可以减少对数据库资源的使用，降低了成本，但是该种方式不灵活，如果redis或定时任务出现异常，不能快速切换到数据库，会导致数据丢失。

发明内容

有鉴于此，本发明实施例提供一种同步数据的方法和装置，能够解决使用成本高、数据会丢失的问题。

为实现上述目的，根据本发明实施例的一个方面，提供了一种同步数据的方法，包括：

将待更新的业务数据存储到缓存中；

将所述缓存中发生过变更的业务数据存入当前滑动窗口；

创建新的滑动窗口，将其作为当前滑动窗口，并将原滑动窗口中的业务数据同步到数据库中。

可选地，将待更新的业务数据存储到缓存中，包括：

获取指针指向的当前滑动窗口的标识，将业务数据的业务主键和滑动窗口的标识拼装成字符串，以所述字符串作为key，以所述业务数据的属性和属性值作为value，存储到缓存中。

可选地，将所述缓存中发生过变更的业务数据存入当前滑动窗口，包括：

将存储在缓存中的属性值发生过变更的业务数据对应的key存入指针指向的当前滑动窗口。

可选地，创建新的滑动窗口，将其作为当前滑动窗口，并将原滑动窗口中的业务数据同步到数据库中，包括：

从任务列表中查询出未同步的滑动窗口的标识；

创建新的滑动窗口，生成新的滑动窗口的标识，将指针指向该滑动窗口，并将该滑动窗口的标识存入任务列表；

对查询出的未同步的滑动窗口加锁，将该滑动窗口中的业务数据同步到数据库中；

从缓存中删除该滑动窗口，并将任务列表中该滑动窗口的状态置为无效。

可选地，将该滑动窗口中的业务数据同步到数据库中，包括：

从该滑动窗口中取出key，将该key对应的业务数据转成java对象，并将其同步到数据库中；

删除该滑动窗口中的key。

可选地，所述方法还包括：