[发明专利]一种从MQTT消息系统到Pulsar流数据平台的桥接实现方法

说明书

本发明公开了一种从MQTT消息系统到Pulsar流数据平台的桥接实现方法，构建MQTT+Pulsar主题，包括创建主题和规则；描述基于SQL的业务规则，并通过API的方式传入到数据处理规则管理引擎中，并将这些业务规则翻译为Pulsar中对应的Source、Functions和Sink；根据系统闲置资源，桥接Pulsar，通过扩展Pulsar的Functions对消息进行实时处理，处理完后发送到外部系统中并存储日志消息。使用MQTT和Pulsar使消息服务平台实现了物联网设备数据接入、设备管理、数据存储和数据分析等功能，并且提供了灵活的编程接口。

技术领域

本发明涉及数据传输技术领域，具体的说，是一种从MQTT消息系统到Pulsar流数据平台的桥接实现方法。

背景技术

MQTT协议作为物联网的基本传输协议以来，经历了不同版本的演化，包括有(3.0/5.0)等。为了支持最新的MQTT传输协议，为了方便不同协议版本的设备连接，消息中心的功能和服务都需要扩展。开发通用物联网平台，需要实现数据接入、设备管理、数据存储和数据分析等功能，并且向上层提供编程接口以便开发者能够利用该平台快速开发出满足符合特定垂直行业的物联网应用。由于物联网本身具有接入设备(传感器)数目多，数据量大等特点，因此还要求MQTT能够支持水平扩展以支撑业务扩展等需求。普通的MQTT消息服务，只能提供简单的设备接入，消息接收、转发功能。在当前5G通信时代物联网高速发展的背景下，物联网连接设备数量巨大，会导致海量交互数据。在这种情况下给消息服务器提出了更高的要求。现有技术解决此问题最普遍的解决模式——采用消息队列，把消息可靠的保存下来，再慢慢的处理。由于通用消息队列限制单个分区必须完整的存储在同一个服务器上，同时分区的冗余是按照主从复制来实现的，这就导致新的服务器节点上线之后，必须等待一段长时间的数据同步，直到把需要提供服务的分区的数据都追赶上之后，通过重新触发选举让新的节点成为相应分区的主节点，才能开始对外服务。这不仅仅是存储的浪费，而且一次扩容会耗费很长的时间，且万一副本不同步，有可能丢失消息。必须提前计划和计算服务器、主题、分区和副本的数量，以避免扩展问题，这非常困难。

发明内容

为解决现有技术中存在的问题，本发明提供一种从MQTT消息系统到Pulsar流数据平台的桥接实现方法，利用Pulsar实现对消息的存储和流式处理，通过使用PulsarFunctions实现对数据的快速处理，并且通过该实现方式对上层暴露的物联网SQL处理引擎来实现对物联网数据的分析与处理。

本发明通过下述技术方案解决上述问题：

一种从MQTT消息系统到Pulsar流数据平台的桥接实现方法，包括：

步骤S1、构建MQTT+Pulsar主题，包括创建主题和规则，主题供MQTT和Pulsar采用订阅发布方式交互使用，规则用于在消息发布时进行数据处理；

通过订阅主题适配灵活的消费模型，可以使用Exclusive和Failover的订阅模式。这样同一个Topic只有一个Consumer在消费，可以保证顺序性；也可以使用Shared订阅模式，多个Consumer可以并发消费同一个Topic。通过动态增加Consumer的数量，可以加速Topic的消费，减少消息在服务端的堆积；

在消息发布或事件触发时将触发规则引擎，满足触发条件的规则将执行各自的SQL语句筛选并处理消息和事件的上下文信息；

步骤S2、描述基于SQL的业务规则，并通过API的方式传入到数据处理规则管理引擎中，并将这些业务规则翻译为Pulsar中对应的Source、Functions和Sink；

把基于SQL的业务规则通过API的方式传入到数据处理规则管理引擎中，并将这些业务规则翻译为Pulsar中对应的Source、Functions和Sink。Pulsar的Source通过共享订阅的方式对接入EMQ X Broker设备数据进行消费，Pulsar将这些数据进行持久化，并通过扩展Pulsar的Functions来对消息进行实时处理；