[发明专利]一种es数据实时同步方法、系统及存储介质

权利要求书

1.一种es数据实时同步方法，其特征在于，包括如下步骤：

S1.配置mysql集群环境，并开启mysql的binlog写入功能；

S2.使用logstash连接mysql和es集群，将mysql中原有的数据全量同步到es中；

S3.配置canal环境，连接mysql集群，订阅master主节点的binlog日志；

S4.使用java编写canal客户端，获取canal订阅到的增量数据信息；

S5.配置kafka环境，并使用canal客户端将增量数据信息推送给kafka；

S6.使用Kafka连接es集群，编写消费逻辑，调用es开放的接口，将增量数据以http请求的方式发送给es端口进行数据同步；

S7.使用es接收请求，将增量数据同步到指定索引中。

2.根据权利要求1所述的es数据实时同步方法，其特征在于，S1包括如下步骤：

S11.安装多个MYSQL软件或服务器，从中选择一个作为主节点，即为主机，其余为从机；并在my.cnf配置文件中，将server-id属性设置为1，开启binlog日志功能，以记录主节点上所有数据的修改变化；

S12.为所有从机设置不同的server-id值，并配置从机连接主机的相关参数；

S13.配置完成后需要进行连通性测试，必须保证主机上进行写操作时主机的binlog日志能够同步更新，且从机数据也能实时更新到；

S14.使用mysqldump将主节点中已有数据全量同步到从机中，以保证数据的一致性；

S15.通过模拟各种故障场景测试集群环境，并根据条件进行压测，以保证正常工作；

S16.创建数据库、表、索引和视图。

3.根据权利要求1所述的es数据实时同步方法，其特征在于，S2包括如下步骤：

S21.配置elasticSearch集群环境；

S211.安装下载多个elasticSearch软件，区分节点类型为主节点、数据节点或主数据节点，以便各个节点在所处集群中分配到角色和任务；

S212.为每个集群节点配置elasticsearch.yml配置文件，并定义集群名称、节点名称、网络地址和开启跨域访问，以让集群节点之间能够相互连通并进行数据同步；

S213.启动各个elasticSearch节点，使用kibana客户端工具检测集群状态，并对集群环境做调整；

S214.根据条件优化集群性能；

S215.添加ik中文分词器，为中文文本做智能分词，以更好兼容中文数据，并添加扩展分词和停用词；

S216.依据mysql集群中的表和字段，一一对应建立索引和映射，并给需要的字段添加analyzer和search_analyzer属性，以依据该字段做合适的倒排索引。

4.根据权利要求3所述的es数据实时同步方法，其特征在于，S2还包括如下步骤：

S22.配置logstash环境，做全量数据同步；

S221.下载安装logstash软件，检查版本是否对应；

S222.上传对应的mysql驱动依赖，以让logstash能够连接数据库；

S223.为每一个es索引创建logstash配置文件，其中需要配置连接Mysql集群的环境、查询mysql数据的sql语句、es连接环境、对应的es索引名称、mysql主键字段以及日志相关参数；

S224.编写pipelines.yml配置文件，为每一个es索引对应配置文件添加pipeline.id和path.config属性，以支持多表数据的同时插入；

S225.启动logstash，检查并测试es数据的全量同步。