[发明专利]一种数据收集和分发系统及工作方法

说明书

本发明涉及一种数据收集和分发系统及工作方法，属于信息通信与数据处理技术领域。系统，包括数据生产模块、数据应用模块、消息服务模块、数据存储模块和数据收发模块，其中，数据生产模块、数据应用模块和数据收发模块均连接有消息服务模块，数据收发模块连接有数据存储模块。本发明实现不同信息系统之间的数据收集和分发，不需要暴露彼此的数据库连接信息，不存在数据安全风险，系统安全性高。

技术领域

本发明涉及一种数据收集和分发系统及工作方法，属于信息通信与数据处理技术领域。

背景技术

随着互联网技术的发展，信息系统越来越多，方便了人们生活，解放了人工，但因为不同信息系统之间的技术差异等因素，造成了数据难以共享，存在比较严重的信息孤岛问题。

为实现数据共享，传统的技术方案是自主开发数据同步系统，在数据库层面来实现不同信息系统之间的数据同步和共享，此种方式多是一对一两个系统之间的数据同步和共享。

当多个系统之间彼此数据共享时，每个系统可提供的数据内容、格式不同，每个系统需求其他的系统共享的数据格式也不同，中间涉及的数据转换，业务逻辑将变得非常复杂，且需要非常大的的开发工作量。并且多个不同系统之间的数据同步和共享，需要暴露彼此的数据库连接信息，存在非常严重的数据安全风险。

从同步方式来说，多是基于数据库触发器的方式，当其中一个业务数据库中的数据发生变更时，系统主动将数据转换、同步给其他需要共享的数据库中，多个共享数据库操作可以是串行的，也可以是并行的，无论哪种方式，都会对业务数据库产生严重的性能影响，且这种影响是随着共享数据节点的增加而加重的。

另一种常用的方式是使用ETL软件来实现不同系统之间的数据转换和共享，虽减少了系统的开发工作量，但仍存在暴露数据库连接和项目业务系统本身性能的问题。

为此，本发明提出一种便于实现不同信息系统之间的数据收集和分发的方法及系统，来实现不同信息系统之间的数据同步和共享。

发明内容

针对现有技术的不足，本发明提供一种数据收集和分发系统及工作方法，实现不同信息系统之间的数据收集和分发，不需要暴露彼此的数据库连接信息，不存在数据安全风险，系统安全性高。

本发明的技术方案如下：

一种数据收集和分发系统，包括数据生产模块、数据应用模块、消息服务模块、数据存储模块和数据收发模块，其中，

数据生产模块、数据应用模块和数据收发模块均连接有消息服务模块，数据收发模块连接有数据存储模块；

消息服务模块：作为各模块之间的通信平台，是整个系统的基础模块，数据生产模块、数据应用模块和数据收发模块均在消息服务模块上注册、登录，消息服务模块向每个登录的模块发放唯一的编号，编号是其在消息服务模块上的标识；

数据生产模块：负责生产数据、更新维护数据；

数据收发模块：负责系统中数据的集中管理，接收数据生产模块的数据，存储到数据存储模块中，也可提供数据给数据应用模块；在整个系统中，仅数据收发模块与数据存储模块有数据交互，可以向数据存储模块写入、更新、删除数据，也可以从数据存储模块中读取数据，提供给其他数据应用模块。

数据存储模块：负责数据持久化的模块，仅和数据收发模块产生数据交互，不登录消息服务模块；

数据应用模块：系统中使用数据的模块，设置有独立的数据存储模块，所有数据应用模块均在数据收发模块上注册，并声明各数据应用模块所需的数据类型，数据类型存储在数据收发模块的配置库中；数据收发模块在发送数据时，方便确定该向哪些数据应用模块发送消息。

优选的，数据生产模块、数据应用模块和数据收发模块与消息服务模块之间的通信技术采用TCP协议或UDP协议，也可以是基于其他协议的技术。