[发明专利]数据同步方法、装置、系统、存储介质及处理器

说明书

本发明公开了一种数据同步方法、装置、系统、存储介质及处理器。其中，该方法包括：基于业务数据查询请求创建索引同步工作；从第一服务器获取与索引同步工作关联的多个日志记录，其中，第一服务器为分布式文件系统储服务器，多个日志记录的每个日志记录中存储有待同步的日志元数据；将多个日志记录同步至第二服务器，其中，第二服务器为全文检索服务器。本发明解决了分布式文件系统服务器(即HDFS)与全文检索服务器(即Solr或ES)的索引同步效率低的技术问题。

技术领域

本发明涉及计算机领域，具体而言，涉及一种数据同步方法、装置、系统、存储介质及处理器。

背景技术

分布式存储系统HBase是一个非关系型的数据库NoSQL系统，支持按行键Rowkey去查询数据,为了对同一份数据做全文检索查询，会把HBase数据同步到全文检索服务器Solr、全文检索服务器ES(即ElasticSearch)等外部系统。

需要说明的是，全文检索服务器(如Solr或ES)系统的成本高于分布式存储系统HBase的成本，因此，为了降低成本开销，可以将分布式存储系统HBase与全文检索服务器(如Solr或ES)结合，来较少对全文检索服务器(如Solr或ES)的使用，从而可以把全量数据存在HBase，把需要检索的数据同步到全文搜索引擎(即Sorl或ES)。

为了保持两个系统(如HBase与Solr，或HBase与ES)的时间数据同步，可以基于Log进行实时同步数据，在开源的索引器HBase-indexer中基于复制HBase Replication来同步数据。但是，这种方式存在维护麻烦、Log重复读取等问题，为规避这些问题提出此方案。

目前，开源HBase-indexer的实现如下：建立Solr索引后，则会创建一个对等节点peer，然后开始同步数据，并且各对等节点peer之间的同步通道是相互独立的。

但是，基于HBase-indexer的同步方式存在如下缺点：

1.每一个peer同步数据的时候都需要把所有的Log读一遍，建设有N个索引，则Log的读流量会放大N倍，对网络、磁盘的压力都比较大。

2.同步效率比较低，Replication从WAL读出Log，反序列化成KV，然后再序列化成二进制数据发送到网络，随后通过网络发送indexer，indexer方序列化出KV才能写SOLR；RS通过网络把KV发送给索引器Indexer，导致了多一次KV的反序列化和序列化。

3.索引同步链路和HBase强耦合，一旦HBase有bug或者Replication有问题会相互影响。

需要说明的是，分布式存储系统(即HBase)的数据一般都存储在分布式文件系统服务器(即HDFS)中，因此，将分布式存储系统(即HBase)与全文搜索引擎(即Sorl或ES)的数据同步就相当于对分布式文件系统服务器(即HDFS)与全文搜索引擎(即Sorl或ES)的数据同步。

针对上述分布式文件系统服务器(即HDFS)与全文检索服务器(即Solr或ES)的索引同步效率低的问题，目前尚未提出有效的解决方案。

发明内容

本发明实施例提供了一种数据同步方法、装置、系统、存储介质及处理器，以至少解决分布式文件系统服务器(即HDFS)与全文检索服务器(即Solr或ES)的索引同步效率低的技术问题。

根据本发明实施例的一个方面，提供了一种数据同步方法，包括：基于业务数据查询请求创建索引同步工作；从第一服务器获取与所述索引同步工作关联的多个日志记录，其中，所述第一服务器为分布式文件系统服务器，所述多个日志记录的每个日志记录中存储有待同步的日志元数据；将所述多个日志记录同步至第二服务器，其中，所述第二服务器为全文检索服务器。