[发明专利]一种数据处理的方法和装置

说明书

技术领域

本发明涉及数据库领域，尤其涉及一种数据处理的方法和装置。

背景技术

随着传统的数据库技术日趋成熟、计算机网络技术的飞速发展和应用范围的扩大，使得数据库系统得到越来越广泛的应用。

现有技术中，数据是先写入到数据表中某区域对应的内存中，当某区域满足一定条件就会将该区域的数据保存到存储设备中形成一个数据存储文件，如可以是1个Hfile，随着数据持续不断地写入所述数据库，所述存储设备中会存在大量的数据存储文件。为提高读数据的性能，会将同一个数据表的全部数据存储文件合并为一个数据存储文件。但是，在备份场景中，尤其是在增量备份的场景下，这样的合并操作会带来如下问题：当在此合并操作之后执行增量备份操作时，需要读取整个数据表的所有数据以确认所需执行所述增量备份的数据，由此导致网络资源的浪费以及备份耗时较长的问题。

发明内容

本发明提供了一种数据处理的方法和装置，能够解决现有技术中备份过程耗时长，消耗大量网络资源的问题。

为了达到上述目的，本发明采用如下技术方案：

第一方面，提供了一种数据处理的方法，该方法应用在数据库系统中，所述数据库系统包含数据表，所述数据表包含至少一个区域，该方法包括：

当所述至少一个区域中的任一区域满足预定义条件时，将所述满足预定义条件的区域中的数据作为数据存储文件保存到存储设备中，其中，所述数据存储文件包含时间元数据，所述时间元数据为所述满足预定义条件的区域中的数据的区域写入时间；

当满足合并操作触发条件时，获取备份操作时间，所述备份操作时间为最近一次执行备份操作的时间；

从所述存储设备中选择至少两个第一数据存储文件，所述至少两个第一数据存储文件所包含的时间元数据所记录的区域写入时间在所述最近一次执行备份操作的时间之前；

合并所选择的所述至少两个第一数据存储文件。

具体地，所述备份操作时间中记录的是最近一次执行备份操作的时间。值得说明的是，所述数据库系统记录的所述备份操作时间可以保存在存储设备中的预置文件、预置数据库中的数据表或分布式锁中，其中，分布式锁可以为Zookeeper。

可选地，本发明实施例中数据库系统也可以将每次备份操作的时间记录在所述存储设备中的所述预置文件、预置数据库中的数据表或分布式锁中。则每次执行合并操作前，从所述预置文件、预置数据库中的数据表或分布式锁中读取所记录的最近一次备份操作的时间。

此外，在具体实施过程中，可以根据数据存储文件的个数、大小等因素灵活配置选择和合并策略。可以一次选择全部所述数据存储文件执行合并操作；也可以分多次选择，每次选择部分所述数据存储文件执行合并操作。

值得说明的是，合并操作所获得数据存储文件的数量可以在具体实施过程中根据预置的每个数据存储文件的最大规格、待合并数据存储文件的个数和大小等因素配置不同预置策略，合并后获得至少一个数据存储文件，本发明不作限制。

通过上述内容描述的过程，在采用本实施例提供的数据处理的方法，执行合并操作时，通过获取数据库系统记录的备份操作时间，仅合并最近一次备份操作的时间之前的数据存储文件，解决了现有技术中数据读性能问题，而且利用上述合并方法，以最近一次执行备份操作的时间为界，对该时间之前的数据存储文件执行合并操作，与现有技术中将全部数据存储文件合并为一个的合并方法相比，可以解决现有技术中的合并方法导致无法快速查找最近一次执行备份操作的时间之后新增的数据存储文件的问题，减少了备份过程耗时长，提高了数据库中备份效率，降低了对网络资源的消耗。

结合第一方面，在第一方面的第一种可能实现方式中，所述方法还包括：

从所述存储设备中选择至少两个第二数据存储文件，所述至少两个第二数据存储文件所包含的时间元数据所记录的区域写入时间在所述最近一次执行备份操作的时间之后；

合并所选择的所述至少两个第二数据存储文件。

具体地，所述第二数据存储文件仅用于区分不同数据存储文件，并不代数据表存储文件的数量，可以包含1个或多个数据存储文件。