[发明专利]分布式分级抽取多应用方法和数据抽取应用器

摘要

本发明提供一种数据抽取应用器和分布式分级抽取多应用方法，所述数据抽取应用器包括源数据模块，抓取多个源数据库的消息，并将此消息中包含的信息转换，传递到对应的高级队列；消息路由模块，获取所述源数据模块中高级队列中的消息并传递到ActiveMQ集群，并将集群中的数据进行发送；消息处理模块，抓取所述消息路由模块发送的消息，并将消息通过处理、转换之后应用于多个不同的应用目标端。根据本发明提供的数据抽取应用器和分布式分级抽取多应用方法，实现了将分布在各个区域源数据库数据采用分级抽取消息并将消息解析、转换、封装然后进行多应用的一种数据库应用方案，解决分布式的环境下多个数据库中的数据进行共享和多应用的可能性。

主权项

1.一种数据抽取应用器，其特征在于，包括：/n源数据模块，抓取多个源数据库的消息，并将此消息中包含的信息转换成为XML(Extensible Markup Language，可扩展标记语言)消息，然后传递到对应的高级队列；/n消息路由模块，通过获取所述源数据模块中高级队列中的消息并传递到ActiveMQ集群，并将集群中的数据进行发送；/n消息处理模块，用于抓取所述消息路由模块发送的消息，并将消息通过处理、转换之后应用于多个不同的应用目标端；/n所述源数据模块包括：/n抓取消息模块，通过抓取各个数据库中的重做日志，抓取对源数据库中的DML(DataManipulation Language，数据操作语言)操作，生成LCR(Logical Change Record，逻辑变更记录)消息，并将该LCR消息传送给流队列；/n应用消息转换模块，通过对流队列中的消息进行提起并传送，将从所述抓取消息模块获取到的LCR消息经过解析处理得到XML类型的消息，并将该XML类型的消息进行重新封装为新的消息；对LCR消息的转化封装按照源数据库产生消息变化的SCN(System ChangeNumber，系统改变号)序列转化，以保证数据的准确性；/n高级队列匹配模块，将所述应用消息转换模块封装后的消息按照规则发送给高级队列，该高级队列匹配模块按照用户为消息分配队列；为保持消息转换和发送的速度，高级队列的名称由源端数据库名称、同步用户名称和数字组成，数字为1到5的任意一个数字，集群上创建队列名称与高级队列名称一致，并且高级队列匹配模块按照用户为消息分配队列，若一个用户抓取的表的数量不超过5，则按照表的数量为消息分配队列，若抓取的用户的表超过5个，则按照5个队列为抓取的表循环分配队列。/n