[发明专利]一种数据实时统计和检索的方法、装置及存储介质

说明书

本发明提供了一种数据实时统计和检索的方法、装置及存储介质，该方法包括：解析数据库的日志文件获取实时的增量数据，将所述增量数据封装为Json格式的数据，将所述Json格式的数据存放至消息队列中；然后通过流式处理方式对所述消息队列中的Json格式的数据进行实时的统计和检索。本发明基于日志和消息队列实现了数据的实时统计和检索，其解决了直连查询对数据库性能的影响，减轻了数据库访问的压力，提高了数据库查询的速度，通过流式数据处理实现了实时的数据供统计和全文检索，并且消息队列的引入也方便其他应用的扩展，提高了用户体验。

技术领域

本发明涉及数据库处理技术领域，特别是一种数据实时统计和检索的方法、装置及存储介质。

背景技术

Mysql是一个多用户、多线程的开源的关系型数据库，由于其体积小、速度快、总体拥有成本低的特点使得其广泛作为应用系统的数据库。因为业务需求需要对Mysql数据库进行实时的数据统计和建立全文检索以供业务端使用。现有的方式主要是通过直连数据库，然后定时查询数据来统计和建索引。

目前，现有技术是通过直连数据库使用Sql进行进行数据查询的方式存在一些技术缺陷：首先，频繁的连接查询对数据库系统本身造成很大的压力；其次，在数据量大的情况下，响应延迟时间长，特别是一些复杂的查询语句，可能需要几分钟才返回数据，用户体验性很差；再次，由于对数据库数据的获取是使用定时的方式实现，无法保证数据的实时性；最后，在应用需求增多的情况，对数据库的压力会是成倍的增长。

发明内容

本发明针对上述现有技术中的缺陷，提出了如下技术方案。

一种数据实时统计和检索的方法，该方法包括：

预处理步骤，解析数据库的日志文件获取实时的增量数据，将所述增量数据封装为Json格式的数据，将所述Json格式的数据存放至消息队列中；

统计和检索步骤，通过流式处理方式对所述消息队列中的Json格式的数据进行实时的统计和检索。

更进一步地，所述数据库为Mysql数据库，所述日志文件为Binlog的Row模式下的日志文件。

更进一步地，所述预处理步骤的操作为：配置Mysql数据库，开启Mysql的Binlog写入功能，并且配置Binlog的模式为Row；用户授权，创建一个用户并授权该用户的从节点权限，用于模拟一个Mysql的从节点；模拟Dump协议发送请求以获取Binlog数据流，解析所述Binlog数据流，并封装成Json格式的数据，然后将所述Json格式的数据存放至消息队列中。

更进一步地，所述模拟Dump协议发送请求以获取Binlog数据流的操作为：模拟Mysql的从节点的交互协议Dump协议，伪装成Mysql的从节点，向Mysql主节点发送Dump协议的请求，Mysql主节点收到Dump请求后向Mysql的从节点推送Binlog数据流。

更进一步地，所述解析Binlog数据流是解析Binlog数据流以获取时间戳、事件执行的花费时间、数据库名、表名、事件类型、提交是否成功、字段名称和对应的字段值。

更进一步地，所述Json格式的数据包括：数据库名、表名、事件类型、时间戳、事件编号、是否提交成功、行数据和旧数据，其中，行数据和旧数据也是Json对象，包含字段名和对应的字段值。

更进一步地，统计和检索步骤包括：统计子步骤，通过将消息队列的Json格式的数据作为流式处理系统的输入流，在流式处理中系统中按时间统计在线用户量、监控数据库查询花费时间和统计数据表的访问量，并将所述在线用户量、查询花费时间和访问量存储至Mysql数据库中，以供业务端实时查询；实时建立全文索引子步骤，使用所述流式处理系统订阅所述消息队列数据，过滤出新增、更新和/或修改操作的Json格式的数据，然后将所述新增、更新和/或修改操作根据对应的规则建立全文索引，实现全文索引库中索引数据的更新。业务端通过查询索引库获得最新的数据。