[发明专利]数据归档方法、装置、设备及存储介质

说明书

本申请提供的一种数据归档方法、装置、设备及存储介质，涉及数据存储技术领域，通过接收到用于指示当日数据归档的指令消息之后，从至少两个数据库中调取当日待归档数据；将具备相同主键信息的所述当日待归档数据写入数据管理库中的中间表，得到所述中间表中的待迁移文档；将所述待迁移文档由所述中间表迁移至所述数据管理库中的主表中。采用本技术方案，能够克服目前主要的归档方案中存在的问题，目前存在的问题是数据库的归档需要运维人员编写归档脚本进行归档，人工干预度高，工作也比较复杂，而本技术方案能够降低数据归档过程的复杂性，提高数据处理的效率。

技术领域

本申请涉及数据存储技术领域，尤其涉及一种数据归档方法、装置、设备及存储介质。

背景技术

目前的份额登记过户系统支持多管理人清算，然而每个管理人每天的业务数据量在百万左右，单数据源已不能支持如此巨大的数据量，因此，采用了根据管理人分库的策略进行清算。

但是随着时间推移，每个分库的中存储的数据量也会越来越多。而对于普通的关系型数据库而言，当数据库中的数据量达到千万级别后，无论运行性能还是响应速度都会有显著下降。一旦数据库的响应速度下降，那么对于终端用户所展现的业务功能也势必受到影响。考虑到份额登记过户系统对于每天已处理的数据不会再做变动，于是将每个分库的数据在日终进行归档处理就成为必然。

然而目前主要的归档方案是数据库运维人员编写归档脚本进行归档，人工干预度高，工作也比较复杂。因此，需要一种数据归档方法，能够降低数据归档过程的复杂性，提高数据处理的效率。

发明内容

本申请提供一种数据归档方法、装置、设备及存储介质，能够降低数据归档过程中的复杂性，并且能够提高数据处理的效率。

第一方面，本申请提供一种数据归档方法，所述方法包括：

接收到用于指示当日数据归档的指令消息之后，从至少两个数据库中调取当日待归档数据；

将具备相同主键信息的所述当日待归档数据写入数据管理库中的中间表，得到所述中间表中的待迁移文档；

将所述待迁移文档由所述中间表迁移至所述数据管理库中的主表中。

可选的，将具备相同主键信息的所述当日待归档数据写入数据管理库中的中间表，包括：

获取具备相同主键信息的所述当日待归档数据，并对所述当日待归档数据键入所述数据管理库中的时间戳进行排序；

按照所述时间戳的顺序将所述当日待归档数据写入数据管理库中的中间表。

可选的，按照所述时间戳的顺序将所述当日待归档数据写入数据管理库中的中间表，包括：

将所述时间戳排序第一的所述当日待归档数据进行加锁处理，并在加锁处理后将锁的关键值的状态由等待状态修改为执行状态；

若在所述中间表中已经完成所述时间戳排序第一的所述当日待归档数据，则释放锁，并将锁的关键值的状态由执行状态修改为等待状态；

将所述时间戳排序第二的所述当日待归档数据进行加锁处理，将所述时间戳排序第二的所述当日待归档数据写入所述中间表。

可选的，从至少两个数据库中调取当日待归档数据，包括：

根据每一个数据库中的配置表，获取对应数据库中的所述当日待归档数据的主键信息；其中，每一个数据库中的配置表是相同的；

将所述主键信息相同的所述当日待归档数据按照所述配置表中的预设路径进行输出。

可选的，在将所述待迁移文档由所述中间表迁移至所述数据管理库中的主表中之前，还包括：