[发明专利]基于分布式订阅发布消息系统的消息管理方法及系统

说明书

本发明提供的基于分布式订阅发布消息系统的消息管理方法及系统，方法为：将生产者生成的消息按照预先定义的格式进行封装，得到待上传消息，所述预先定义的格式为MSG_ID+REC_ID+被封装的消息+CRC₂；将所述待上传消息上传至管理中心，并通过所述MSG_ID和REC_ID确定所述生产者和所述管理中心之间的消息传输状态，确保所述待上传消息成功传输至所述管理中心。本发明通过在消息格式中增加的MSG_ID和REC_ID用于生产者和管理中心之间确定消息的传输状态，在生产者上传消息至管理中心时，增加对上传异常情况的处理，确保生产者的消息成功上传至管理中心。

技术领域

本发明涉及数据处理领域，尤其涉及基于分布式订阅发布消息系统的消息管理方法及系统领域。

背景技术

随着联网设备的增多、“万物互联”概念的提出和普及，用户通过各种媒介和界面与服务器发生信息交互的频率也越来越高。云服务器和分布式存储概念的提出和发展，也突出了在各种联网设备与服务器之间进行信息传递的重要性。

联网设备与服务器之间的信息传递需要具有容错率、可靠性、可延拓性、并发性等。而用户与联网设备之间通过触摸、语音、文字等方式进行交互的时候，联网设备(客户端)与服务器之间的信息交互又具有其特点与独特的要求。

现有的订阅发布消息系统的典型代表是kafka，Kafka是一种高吞吐量的分布式发布订阅消息系统，它可以处理消费者规模的网站中的所有动作流数据。这种动作(网页浏览，搜索和其他用户的行动)是在现代网络上的许多社会功能的一个关键因素。这些数据通常是由于吞吐量的要求而通过处理日志和日志聚合来解决。对于像Hadoop的一样的日志数据和离线分析系统，但又要求实时处理的限制，这是一个可行的解决方案。Kafka的目的是通过Hadoop的并行加载机制来统一线上和离线的消息处理，也是为了通过集群来提供实时的消费，因此，Kafka目前在服务器领域被广泛应用。

但现有的订阅发布消息系统，当生产者的消息没有正确发送到管理中心的时候，缺乏异常处理，不能保证消息从生产者成功上传至管理中心。

发明内容

针对上述技术问题，本发明提供一种基于分布式订阅发布消息系统的消息管理方法及系统，通过在消息格式中增加的MSG_ID和REC_ID用于生产者和管理中心之间确定消息的传输状态，在生产者上传消息至管理中心时，增加对上传异常情况的处理，确保生产者的消息成功上传至管理中心。

为解决上述技术问题，本发明提供的技术方案是：

第一方面，本发明提供一种基于分布式订阅发布消息系统的消息管理方法，包括：

步骤S1，将生产者生成的消息按照预先定义的格式进行封装，得到待上传消息，所述预先定义的格式为MSG_ID+REC_ID+被封装的消息+CRC₂；

步骤S2，将所述待上传消息上传至管理中心，并通过所述MSG_ID和REC_ID确定所述生产者和所述管理中心之间的消息传输状态，确保所述待上传消息成功传输至所述管理中心。

本发明提供的一种基于分布式订阅发布消息系统的消息管理方法，其技术方案为：将生产者生成的消息按照预先定义的格式进行封装，得到待上传消息，所述预先定义的格式为MSG_ID+REC_ID+被封装的消息+CRC₂；将所述待上传消息上传至管理中心，并通过所述MSG_ID和REC_ID确定所述生产者和所述管理中心之间的消息传输状态，确保所述待上传消息成功传输至所述管理中心。

本发明提供的一种基于分布式订阅发布消息系统的消息管理方法，通过在消息格式中增加的MSG_ID和REC_ID用于生产者和管理中心之间确定消息的传输状态，在生产者上传消息至管理中心时，增加对上传异常情况的处理，确保生产者的消息成功上传至管理中心。

进一步地，所述步骤S2，具体为：