[发明专利]一种基于消息队列的异步数据备份方法

权利要求书

1.一种基于消息队列的异步数据备份方法，其特征在于，其实现过程为：

首先通过客户端发起数据写入请求；

然后由备份服务器读取请求消息并生成本地文件，该本地文件为临时文件，达到最大容量限制后输出数据文件；

最后将本地文件上传至ftp文件备份服务器，完成备份过程。

2.根据权利要求1所述的一种基于消息队列的异步数据备份方法，其特征在于，在客户端发起数据写入请求时，首先需要通过业务接口读取并判断是否开启备份开关配置，如果文件备份开关为开启状态，则将数据写入消息队列中。

3.根据权利要求1所述的一种基于消息队列的异步数据备份方法，其特征在于，备份服务器通过持续读取消息队列来生成本地数据文件，具体过程为：

备份服务器读取消息队列，判断是否有新消息，如果没有则休眠10s后继续读取，如有新消息，则读取消息内容，调用文件写入接口；

文件写入接口判断是否需要生成新文件：

如果不需要生成新文件，则追加写入文件内容，即采用追加的方式写入文件内容，结构化数据写文本文件，一行写一条数据，非结构化数据写二进制文件，以TLV格式写入文件内容，单个数据文件写入数据时以加锁的方式控制并发访问；

如果需要生成新数据文件，则需先将临时文件输出至本地目录，然后将文件备份结果写记录，最后生成新的临时文件，写入文件内容。

4.根据权利要求3所述的一种基于消息队列的异步数据备份方法，其特征在于，在上述步骤中生成的新数据文件采用如下规则命名：表名+主机ip第四段+日期+主键，并以后缀的方式区分临时文件及数据文件，新生成的临时文件以.tmp为后缀；已写入完成的数据文件以.data为后缀。

5.根据权利要求3所述的一种基于消息队列的异步数据备份方法，其特征在于，所述文件备份结果写记录在备份文件结果记录模块中，该模块用于统计分析、数据比对，并根据存储记录，文件恢复时快速定位备份文件，该备份文件结果记录模块中记录的内容包括ID；日期；备份文件类型；业务表名；备份文件名；文件大小，单位为MB；记录数，即文件数据条数；创建时间，即输出数据文件的时间；是否已上传，即用于标识文件是否已上传至ftp服务器，0表示否，1表示是；上传时间；ftp文件备份服务器主机ip；文件存放主目录；是否已删除，用于标识文件是否已从ftp服务器删除，0表示否，1表示是。

6.根据权利要求3所述的一种基于消息队列的异步数据备份方法，其特征在于，将本地文件上传至ftp文件备份服务器的具体过程为：

首先扫描本地文件目录，判断是否存在数据文件，如果不存在则休眠10分钟后继续扫描；

如果存在待上传的数据文件，则统计ftp文件备份服务器存储使用情况，判断是否达到存储上限；

如果达到存储上限则删除文件，释放空间，实现数据滚动存储，删除规则为一次删除一天的数据，优先删除最早日期的数据；

最后将本地数据文件上传至ftp文件备份服务器，上传成功后更新相关记录信息并删除本地文件。

7.根据权利要求6所述的一种基于消息队列的异步数据备份方法，其特征在于，所述ftp文件备份服务器数据存储规划根据不同的文件类型，通过设置时间、容量两个维度进行控制，如果存储时间或者容量任一维度达到阈值限制，则进行滚动存储。