[发明专利]基于日志文件的表维度检索数据同步方法、系统及装置

说明书

本发明涉及网络技术领域，公开了一种基于日志文件的表维度检索数据同步方法、系统及装置。所述方法包括：将数据库接入日志解析组件，以将数据库的原始日志文件解析为目标格式；基于所述目标格式的日志文件，根据日志文件中表的数据特征实现对应的表数据处理器；将日志文件中的表派发到对应的表数据处理器；通过表数据处理器将日志文件的表中的变更字段映射为与搜索引擎匹配的数据字段；将映射后的日志文件的表数据字段推送到搜索服务器。本发明实现基于日志文件的检索数据同步服务，同步速度快、实时性好；而且无需在业务系统侵入同步相关代码，便于业务系统的维护和扩展，不会出现数据遗漏，能够保证搜索服务器与数据库中数据的一致性。

技术领域

本发明涉及网络技术领域，具体而言，涉及一种基于日志文件的表维度检索数据同步方法、一种基于日志文件的表维度检索数据同步系统及一种基于日志文件的表维度检索数据同步装置。

背景技术

在互联网公司，大部分在线业务的数据都是基于MySQL数据库存储的。在业务系统中直接查询、分析数据，业务处理与数据查询、分析耦合在一起，导致数据分析与业务逻辑之间相互影响，导致查询、分析速度慢。对存储在MySQL中的业务数据使用SQL语言做实时分析，为了提升分析结果的实时性，可能需要每分钟甚至几秒钟执行一次，SQL语句执行的时间间隔越小，MySQL的性能压力就越大；另外MySQL在做数据分析的同时还需应对来自业务系统的读写请求，MySQL的负荷非常大，导致业务系统的稳定性难以保证。

目前，越来越多的公司使用搜索引擎来实现自己的查询、分析服务。使用搜索引擎需要将业务数据库(MySQL)中的数据实时同步到搜索服务器中。常规的方式是在业务数据变更的相关代码后添加同步搜索服务器的相关代码，这种方式需要在业务代码中侵入大量的代码，维护成本高，扩展性差。若某些变更无法直接在业务系统中没有相应的系统接口，无法直接编码，需要操作MySQL数据库来完成变更，则变更的数据无法同步到搜索服务器，导致变更数据被遗漏。

发明内容

本发明的目的是提供一种基于日志文件的表维度检索数据同步方法、系统、装置及存储介质，以解决上述的业务数据库与搜索服务器的数据同步中存在的问题。

为了实现上述目的，在本发明第一方面提供一种基于日志文件的表维度检索数据同步方法，所述方法包括：

将数据库接入日志解析组件，以

将数据库的原始日志文件解析为目标格式；

基于所述目标格式的日志文件，根据日志文件中表的数据特征实现对应的表数据处理器；

将所述日志文件中的表派发到对应的表数据处理器；

通过所述表数据处理器将日志文件的表中的变更字段映射为与搜索引擎匹配的数据字段；

将映射后的日志文件的表数据字段推送到搜索服务器。

可选地，通过任务调度器的策略调度将所述日志文件中的表派发到对应的表数据处理器。

可选地，由所述表数据处理器根据日志文件的事件类型以及数据更新情况将日志文件的表中的变更字段映射为与搜索引擎匹配的数据字段。

可选地，所述搜索引擎为ElasticSearch搜索引擎。

可选地，所述日志解析组件是Canal组件。

可选地，通过所述Canal组件将所述数据库的原始日志文件解析为JSON格式。

本发明第二方面提供一种基于日志文件的表维度检索数据同步系统，所述系统包括：

数据输入层，包括日志解析组件，用于通过所述日志解析组件将接收到的原始日志文件解析为目标格式；