[发明专利]数据同步方法、装置、系统、存储介质及处理器

权利要求书

1.一种数据同步方法，其特征在于，包括：

基于业务数据查询请求创建索引同步工作；

从第一服务器获取与所述索引同步工作关联的多个日志记录，其中，所述第一服务器为分布式文件系统服务器，所述多个日志记录的每个日志记录中存储有待同步的日志元数据；

将所述多个日志记录同步至第二服务器，其中，所述第二服务器为全文检索服务器；

其中，将所述多个日志记录同步至第二服务器包括：

将所述多个日志记录存储至预设内存队列；生成与所述多个日志记录数量相同的多个索引同步任务并分发给同步进程，其中，所述多个索引同步任务中的每个索引同步任务分别处理一个不同的日志记录，并且每个索引同步任务用于依据当前处理的日志记录对至少一个索引进行同步更新；通过所述同步进程执行所述多个索引同步任务，将所述多个日志记录同步至第二服务器。

2.根据权利要求1所述的方法，其特征在于，从所述第一服务器获取所述多个日志记录包括：

对所述第一服务器上的日志目录进行扫描，获取日志列表，其中，所述日志列表中记录有所述第一服务器当前维护的全部日志记录；

基于所述索引同步工作从所述日志列表中获取所述多个日志记录。

3.根据权利要求1所述的方法，其特征在于，当同一个索引同步任务用于依据当前处理的日志记录对多个索引进行同步更新时，所述多个索引之间的同步进度存在制约关系。

4.根据权利要求1所述的方法，其特征在于，在将所述多个日志记录同步至第二服务器之后，还包括：

将每个索引同步任务所负责同步更新的至少一个索引的同步进度中的最慢同步进度统计为每个索引同步任务的同步进度；

将每个索引同步任务的同步进度中的最慢同步进度统计为所述索引同步工作的同步进度；

将所述索引同步工作的同步进度以及参与同步日志列表的其他索引同步工作的同步进度中的最慢同步进度统计为所述日志列表的同步进度。

5.根据权利要求4所述的方法，其特征在于，在将所述多个日志记录同步至第二服务器之后，还包括：

将所述日志列表中已同步完毕的日志记录从所述日志列表移除，得到更新后日志列表；

将所述更新后日志列表的同步进度更新至第三服务器，其中，所述第三服务器为集中式存储服务器。

6.根据权利要求5所述的方法，其特征在于，在所述第三服务器上维护的所述更新后日志列表中的每个日志记录包括：第一字段、第二字段和第三字段，其中，所述第一字段表示当前日志记录标识，所述第二字段表示当前日志记录长度，所述第三字段表示当前日志记录同步进度。

7.根据权利要求1所述的方法，其特征在于，所述方法应用于与第四服务器相互独立的第五服务器，其中，所述第四服务器为分布式文件系统服务器，所述第五服务器为日志管理与索引管理服务器。

8.一种数据同步装置，其特征在于，包括：

创建单元,用于基于业务数据查询请求创建索引同步工作；

获取单元,用于从第一服务器获取与所述索引同步工作关联的多个日志记录，其中，所述第一服务器为分布式文件系统服务器，所述多个日志记录的每个日志记录中存储有待同步的日志元数据；

同步单元,用于将所述多个日志记录同步至第二服务器，其中，所述第二服务器为全文检索服务器；

所述同步单元还用于：将所述多个日志记录存储至预设内存队列；生成与所述多个日志记录数量相同的多个索引同步任务并分发给同步进程，其中，所述多个索引同步任务中的每个索引同步任务分别处理一个不同的日志记录，并且每个索引同步任务用于依据当前处理的日志记录对至少一个索引进行同步更新；通过所述同步进程执行所述多个索引同步任务，将所述多个日志记录同步至第二服务器。