[发明专利]基于COV数据处理的总线控制系统

说明书

本发明一种基于COV数据处理的总线控制系统，包括：数据建模服务模块用于搭建数据建模服务；COV数据处理服务模块用于搭建COV数据处理服务，从数据建模服务模块中读取消息订阅规则和COV解析存储策略，并在MQTT总线服务模块开启MQTT总线服务后，根据读取到的消息订阅规则到MQTT总线服务模块上注册订阅消息；通信管理机用于采集下接的感应设备的数据，并将采集到的数据按约定格式发布到MQTT总线服务模块上；MQTT总线服务模块用于根据消息订阅规则将发布的数据消息推送给COV数据处理服务模块；COV数据处理服务模块用于在收到推送的数据消息后，对数据消息进行解析处理并存入数据库。

技术领域

本发明涉及总线控制系统技术领域，特别是涉及一种基于COV(Change Of Value)数据处理的总线控制系统。

背景技术

当前正值工业物联网的蓬勃发展期，基于物联网采集数据的各类应用不断延伸，不论应用场景如何更迭，一个稳定的数据采集、传输、存储体系都是搭建上层应用的基石。采集数据从物联网感应设备送达平台，采用传统的socket点对点传输方式，在采集点多、采集频率高、数据呈现“碎片化”的场景下效果并不理想。

MQTT的订阅发布机制能很好的满足我们的需求，实现了MQTT协议的通信管理机将每个采集的数据包以消息的形式发布到总线上，所有的订阅者都能第一时间收到MQTT“推”来的消息。我们可以为分布式部署的每个服务制定各自的订阅规则，这样无论是增加数据生产者(采集节点)还是增加订阅者(分布式服务)，都能轻易扩展。

但问题也是显而易见的：为了提高数据实时性，项目中往往会加大采集的频次，但会带来数据的大幅增加。MQTT“推”来的消息每个消息都不大，数量却非常多，我们当然可以全部存储下来，再通过ETL等方式后期处理，但不可避免会导致存储成本和维护工作量的大幅增加；如果我们对每条数据进行处理，又会面临数据实时性和数据存储量的两难抉择。为了解决这一问题，我们提出了一种对大量采集数据进行高效处理的MQTT总线控制系统。

发明内容

本发明针对现有技术存在的问题和不足，提供一种基于COV数据处理的总线控制系统。

本发明是通过下述技术方案来解决上述技术问题的：

本发明提供一种基于COV数据处理的总线控制系统，其特点在于，其包括数据建模服务模块、COV数据处理服务模块、MQTT总线服务模块、采集现场的通信管理机及数据库；

所述数据建模服务模块用于搭建数据建模服务，定义项目相关的模型实体对象、对象属性、消息订阅规则、消息解析表达式、COV解析存储策略、入库规则；

所述COV数据处理服务模块用于搭建COV数据处理服务，从数据建模服务模块中读取消息订阅规则和COV解析存储策略，并在MQTT总线服务模块开启MQTT总线服务后，根据读取到的消息订阅规则到MQTT总线服务模块上注册订阅消息；

所述通信管理机用于采集下接的感应设备的数据，并将采集到的数据按约定格式发布到MQTT总线服务模块上；

所述MQTT总线服务模块用于根据消息订阅规则将发布的数据消息推送给COV数据处理服务模块；

所述COV数据处理服务模块用于在收到推送的数据消息后，对数据消息进行解析处理并存入数据库。

较佳地，所述通信管理机用于在下接的感应设备超过设定数量时，将采集到的计量数据打包后以特定的topic形式发布到MQTT总线服务模块上。

较佳地，所述总线控制系统还包括消息解包服务模块，所述MQTT总线服务模块用于将打包数据发送到消息解包服务模块上，所述消息解包服务模块用于对打包数据进行解包，并将解包后的数据重新发布到MQTT总线服务模块上。

较佳地，所述消息订阅规则定义了模型实体与订阅消息规则之间的关联。