[发明专利]一种数据实时统计和检索的方法、装置及存储介质

权利要求书

1.一种数据实时统计和检索的方法，其特征在于，该方法包括：

预处理步骤，解析数据库的日志文件获取实时的增量数据，将所述增量数据封装为Json格式的数据，将所述Json格式的数据存放至消息队列中；

统计和检索步骤，通过流式处理方式对所述消息队列中的Json格式的数据进行实时的统计和检索；

其中，所述数据库为Mysql数据库，所述日志文件为Binlog的Row模式下的日志文件，Binlog是由一系列的Binlog Event构成，每个Binlog Event包含Header和Data两部分，Header提供了Event创建时间和服务器ID，Data包含Event的具体数据修改，所述预处理步骤的操作为：配置Mysql数据库，开启Mysql的Binlog写入功能，并且配置Binlog的模式为Row；用户授权，创建一个用户并授权该用户的从节点权限，用于模拟一个Mysql的从节点；模拟Dump协议发送请求以获取Binlog数据流，解析所述Binlog数据流，并封装成Json格式的数据，然后将所述Json格式的数据存放至消息队列中；其中，所述模拟Dump协议发送请求以获取Binlog数据流的操作为：模拟Mysql的从节点的交互协议Dump协议，伪装成Mysql的从节点，向Mysql主节点发送Dump协议的请求，Mysql主节点收到Dump请求后向Mysql的从节点推送Binlog数据流；

其中，统计和检索步骤包括：

统计子步骤，通过将消息队列的Json格式的数据作为流式处理系统的输入流，在流式处理中系统中按时间统计在线用户量、监控数据库查询花费时间和统计数据表的访问量，并将所述在线用户量、查询花费时间和访问量存储至Mysql数据库中，以供业务端实时查询；

实时建立全文索引子步骤，使用所述流式处理系统订阅所述消息队列数据，过滤出新增、更新和/或修改操作的Json格式的数据，然后将所述新增、更新和/或修改操作根据对应的规则建立全文索引，实现全文索引库中索引数据的更新，业务端通过查询索引库获得最新的数据。

2.根据权利要求1所述的方法，其特征在于，所述解析Binlog数据流是解析Binlog数据流以获取时间戳、事件执行的花费时间、数据库名、表名、事件类型、提交是否成功、字段名称和对应的字段值。

3.根据权利要求2所述的方法，其特征在于，所述Json格式的数据包括：数据库名、表名、事件类型、时间戳、事件编号、是否提交成功、行数据和旧数据，其中，行数据和旧数据也是Json对象，包含字段名和对应的字段值。