[发明专利]一种用于对数据进行共享分发的方法及系统

说明书

本发明公开了一种用于对数据进行共享分发的方法及系统，包括：将利用数据采集模块采集的原始数据以分布式消息队列的形式进行暂存；当所述分布式消息队列中的原始数据满足预设的过滤处理条件时，利用数据过滤模块读取分布式消息队列中的原始数据，并根据预设的过滤条件对原始数据进行过滤处理，以生成共享数据并存储至分布式消息队列中；当所述共享数据满足预设的数据共享分发条件时，利用数据共享分发模块将所述共享数据自动地发送至对应的系统，以实现数据共享分发。本发明避免了原来的基于数据库系统的数据处理流程上IO读写的性能瓶颈，在海量大数据环境下，可以充分利用服务器集群的性能，保证数据共享分发处理的及时性、稳定性和准确性。

技术领域

本发明涉及数据处理技术领域，并且更具体地，涉及一种用于对数据进行共享分发的方法及系统。

背景技术

现有的基于数据库的数据共享分发方式，在数据采集端采集到的数据会先入库到数据库系统中，并在对应的数据库系统表上建立相应的过滤条件索引，数据共享分发程序从数据中读取相应满足过滤条件的数据发送到相应的共享系统中。现有的数据共享分发流程如图1所示。

现有的数据共享分发方式数据的处理主要集中在数据库系统上，为以数据库为核心的业务处理流程，将主要的IO操作都集中在数据库上，很明显数据库的读写处理性能直接决定了数据共享分发性能，而数据库的读写处理性能及大数据量处理性能成为数据共享分发系统的瓶颈所在，而传统的数据库处理性能虽然可以通过扩展硬件资源方式来提升性能，但集中式的关系型数据库例如oracle、mysql，sqlserver，db2等依然有其性能上的瓶颈，面对海量大数据的冲击，无法进行性能上的横向水平扩展，难以保障数据共享分发的及时性、稳定性和准确性。

发明内容

本发明提出一种用于对数据进行共享分发的方法及系统，以解决如何高效地实现数据共享分发的问题。

为了解决上述问题，根据本发明的一个方面，本发明提供了一种用于对数据进行共享分发的方法，所述方法包括：

将利用数据采集模块采集的原始数据以分布式消息队列的形式进行暂存；

判断所述分布式消息队列中的原始数据是否满足预设的过滤处理条件；

当所述分布式消息队列中的原始数据满足预设的过滤处理条件时，利用数据过滤模块读取分布式消息队列中的原始数据，并根据预设的过滤条件对原始数据进行过滤处理，以生成共享数据并存储至分布式消息队列中；

判断所述共享数据是否满足预设的数据共享分发条件；

当所述共享数据满足预设的数据共享分发条件时，利用数据共享分发模块将所述共享数据自动地发送至对应的系统，以实现数据共享分发。

优选地，其中所述判断所述分布式消息队列中的原始数据是否满足预设的过滤处理条件，包括：

判断所述分布式消息队列中的原始数据的数据量是否达到预设的第一处理数量；或

所述分布式消息队列中的原始数据是否要求实时处理。

优选地，其中所述判断所述共享数据是否满足预设的数据共享分发条件，包括：

判断所述分布式消息队列中的共享数据的数据量是否达到预设的第二预处理数量；或

所述分布式消息队列中的共享数据是否要求实时处理。

优选地，其中所述方法还包括：

数据共享分发模块根据系统的数据获取请求，读取相应的共享数据并发送至相应的系统。

优选地，其中所述方法还包括：

将分布式消息队列中的原始数据和共享数据发送至数据库进行存储。