[发明专利]基于Kafka的实时数据解析订阅处理方法和装置

说明书

本发明公开了数据解析处理技术领域的一种基于Kafka的实时数据解析订阅处理方法，包括订阅端向云端服务器发送订阅数据模型；两者建立数据推送通道；服务端接收用户数据并进行权限校验；服务端发送消息给中间件进行数据转发；服务端通过消息中间件接收订阅关系并进行本地存储；服务端接收到数据后上报中间件；服务端接收数据后与订阅关系进行数据合并处理；服务端向订阅端发送实时数据。该基于Kafka的实时数据解析订阅处理方法能够及时、便捷地让用户得到自己想要的实时数据，从而减少了用户处理数据的压力，高吞吐量，实效块，确保数据准确无误地，实时地到达用户端。

技术领域

本发明涉及数据解析处理技术领域，更具体地，涉及一种基于Kafka实时数据解析订阅处理分发数据的方法和装置。

背景技术

实时数据解析订阅处理是指在设备数据上报云端后，云端根据用户订阅关系进行订阅分发的一种行为，为了满足用户对数据安全性的要求，将用户订阅关系存储于服务器数据库中，需要用户发起订阅行为，服务器校验用户对设备的权限处理，从而保证数据安全准确地达到用户系统，传统的数据抓取通过客户端进行主动轮询方式进行获取，但传统的数据获取方式吞吐量比较小、实效慢、不支持分片消费，目前常用的消息队列有Kafka，RabbitMq,AMQP等，Kafka是由Apache软件基金会开发的一个开源流处理平台，由Scala和Java编写，Kafka是一种高吞吐量的分布式发布订阅消息系统，它可以处理用户消费者在网站中的所有动作流数据，为了满足高吞吐量，实现分布式部署，采用Kafka技术实现分布式部署，分片消费，以达到高吞吐量，实效快，确保数据准确无误地、实时地到达用户客户端。

发明内容

本发明的目的提供一种基于Kafka实时数据解析订阅处理分发数据的方法和装置，设备的实时数据通过用户订阅关系模型进行数据分批发送给不同的用户，用以改善分布式环境下用户数据分发的实时性和针对性需求。

为达到上述目的，本发明采用以下技术方案：

一种基于Kafka的实时数据解析订阅处理方法，包括步骤如下：

步骤1：订阅端向云端服务器发送订阅数据模型；

步骤2：订阅端与服务端建立数据推送通道；

步骤3：服务端接收用户数据并进行权限校验；

步骤4：服务端校验后发送消息给中间件进行数据转发；

步骤5：服务端的订阅关系部分通过消息中间件接收订阅关系并进行本地存储；

步骤6：服务端的数据解析部分在接收到数据后上报中间件；

步骤7：服务端的数据分发部分接收数据后与订阅关系进行数据合并处理；

步骤8：服务端向订阅端发送实时数据。

进一步的，所述步骤3中的权限校验是用户订阅关系的合法性校验。

进一步的，所述步骤4中的中间件为Kafka集群服务器。

进一步的，所述步骤5中的服务端的订阅关系部分通过消息中间件接收订阅关系包括以下步骤：

S51：订阅端向云端服务器发起订阅关系；

S52：服务器进行设备权限判断并进行订阅关系处理；

S53：通过Kafka消费用户订阅关系；

S54：存储用户关系模型数据至本地库；

S55：存储用户关系模型数据进行数据库存储。

进一步的，所述步骤7包括以下步骤：

S71：设备端发送用户数据；

S72：服务端进行数据解析；