[发明专利]一种基于消费队列的数据交换方法及系统

说明书

本发明提供一种基于消费队列的数据交换方法及系统，包括：接收外网服务器发送的客户端数据查询请求；解析客户端数据查询请求，将得到的订阅任务发送至元数据库，以得到消费队列；转换接收的内部订阅任务数据，将得到的外部订阅任务数据经外网服务器返回至相应客户端，其中所述内部订阅任务数据是通过消费客户端消费消息队列而得到。本发明客户端与内网订阅服务通过HTTP交互，不直接接触MQ数据；可通过客户端循环请求，获取数据。

技术领域

本发明属于计算机网络领域，尤其涉及一种基于消费队列的数据交换方法及系统。

背景技术

随着互联网的发展和大数据技术的不断成熟，企业的外部客户端进行分析需要使用的数据量越来越大，而消息队列(Message Queue，MQ)技术为大量数据的传输提供了非常好的传输方式。

现有技术中因客户端直接消费MQ，所以外部客户端必须与内网MQ数据相连通，但这极大地增加了安全风险，已经不满足现在互联网企业的需求。因此现在急需一种数据交换方法来进行内网数据到客户端的传输，以使企业可以将内部数据存储和外部数据的使用进行分离。

发明内容

为解决上述问题，本发明提供一种基于消费队列的数据交换方法及系统，客户端不直接接触消费队列，以保证系统的安全性。

本发明技术解决方案包括：

一种基于消费队列的数据交换方法，适用于由客户端、外网服务器、内网服务器、元数据库与消费客户端组成的系统，其步骤包括：

1)接收外网服务器发送的客户端数据查询请求；

2)解析客户端数据查询请求，将得到的订阅任务发送至元数据库，以得到消费队列；

3)转换接收的内部订阅任务数据，将得到的外部订阅任务数据经外网服务器返回至相应客户端，其中所述内部订阅任务数据是通过消费客户端消费消息队列而得到。

进一步地，客户端数据查询请求的字段包括用户名、sql语句、交换方式和消费者组。

进一步地，根据用户名与元数据库，判断所述客户端数据查询请求的合规性。

进一步地，通过消费者组，获取消费客户端

进一步地，通过以下步骤得到所述订阅任务：

1)解析sql语句，获取所需topic、数据字段数量与字段规则；

2)依据交换方式拉取所需topic中的指定字段内容；

3)根据数据字段数量、指定字段内容与字段规则，获取订阅任务。

进一步地，在内网服务器内存中，依据字段规则判断数据字段数量与指定字段内容是否合规。

进一步地，获取元数据库的消费队列前，元数据库判断订阅任务中的数据字段数量和指定字段内容是否合规。

进一步地，所述系统还包括生产客户端；若元数据库内没有相应订阅任务，则通过生产客户端和订阅任务产生消费队列。

进一步地，在消费客户端消费生产客户端产生的消息队列之前，元数据库判断该消息队列是否合规。

进一步地，内部订阅任务数据的格式为byte数据。

进一步地，客户端数据查询请求与外部订阅任务数据的格式包括：HTTP格式。

一种基于消费队列的数据交换系统，包括：

客户端，用以产生客户端数据查询请求；

外网服务器，用以将客户端数据查询请求发送至内网服务器；将接收的外部订阅任务数据返回至客户端；