[发明专利]一种es数据实时同步方法、系统及存储介质

说明书

本发明提供了一种es数据实时同步方法、系统及存储介质，其方法包括如下：S1.配置mysql集群环境；S2.使用logstash连接mysql和es集群，将mysql中原有的数据全量同步到es中；S3.配置canal环境；S4.使用java编写canal客户端，获取增量数据信息；S5.配置kafka环境，并使用canal客户端将增量数据信息推送给kafka；S6.使用Kafka连接es集群，将增量数据以http请求的方式发送给es端口进行数据同步；S7.使用es接收请求，将增量数据同步到指定索引中。本发明使用canal做增量数据同步，克服了使用logstash做增量数据同步所带来的缺陷。

技术领域

本发明涉及elasticSearch数据同步技术领域，尤其是涉及一种es数据实时同步方法、系统及存储介质。

背景技术

elasticSearch（简称es）数据同步主要针对需要将mysql集群数据同步到elasticSearch集群的互联网项目，实现能够以极少的代价以及延迟，将mysql数据变化实时更新到elasticSearch中。其主要目标是在互联网项目应用中，用户能够快速感知到数据的更新，并在使用搜索(该搜索需要通过elasticSearch来实现)功能时能快速搜索出，以增加用户体验。

目前会使用logstash做增量数据同步，但是因为logstash的高资源消耗和缓慢的处理速度并不适合在服务器运行期间将增量数据从mysql同步到es。logstash无法实时感知mysql数据的变化，只能根据架构师配置的固定时间间隔来同步数据，而这个时间的设定必定会带来一定的不合理性，设置的过短会导致服务器资源快速消耗和占用，过长会降低用户的好感和体验，并且在数据变化不大的时期依然按照固定的时间间隔进行数据同步的话，必然会导致服务器资源的不必要消耗。

而目前也会用canal来进行增量数据同步，但canal无法承担复杂的同步业务，不具有幂等性，无法灵活对数据进行二次处理和过滤。

发明内容

本发明提供一种es数据实时同步方法、系统及存储介质，通过lostash、canal、kibana、kafka、java等技术来做到mysql集群数据到elasticSearch集群的实时同步，其中，使用canal做增量数据同步，克服了使用logstash做增量数据同步所带来的缺陷，还引入了java、canal客户端和es客户端，克服了现有采用canal做增量数据同步所带来的缺陷。

本说明书实施例的第一方面公开了一种es数据实时同步方法，包括如下步骤：

S1.配置mysql集群环境，并开启mysql的binlog写入功能；

S2.使用logstash连接mysql和es集群，将mysql中原有的数据全量同步到es中；

S3.配置canal环境，连接mysql集群，订阅master主节点的binlog日志；

S4.使用java编写canal客户端，获取canal订阅到的增量数据信息；

S5.配置kafka环境，并使用canal客户端将增量数据信息推送给kafka；

S6.使用Kafka连接es集群，编写消费逻辑，调用es开放的接口，将增量数据以http请求的方式发送给es端口进行数据同步；

S7.使用es接收请求，将增量数据同步到指定索引中。

本说明书的一实施例中，S1包括：

S11.安装多个MYSQL软件或服务器，从中选择一个作为主节点，即为主机，其余为从机；并在my.cnf配置文件中，将server-id属性设置为1，开启binlog日志功能，以记录主节点上所有数据的修改变化；

S12.为所有从机设置不同的server-id值，并配置从机连接主机的相关参数；

S13.配置完成后需要进行连通性测试，必须保证主机上进行写操作时主机的binlog日志能够同步更新，且从机数据也能实时更新到；