[发明专利]分布式分级抽取多应用方法和数据抽取应用器

权利要求书

1.一种数据抽取应用器，其特征在于，包括：

源数据模块，抓取多个源数据库的消息，并将此消息中包含的信息转换成为XML(Extensible Markup Language，可扩展标记语言)消息，然后传递到对应的高级队列；

消息路由模块，通过获取所述源数据模块中高级队列中的消息并传递到ActiveMQ集群，并将集群中的数据进行发送；

消息处理模块，用于抓取所述消息路由模块发送的消息，并将消息通过处理、转换之后应用于多个不同的应用目标端；

所述源数据模块包括：

抓取消息模块，通过抓取各个数据库中的重做日志，抓取对源数据库中的DML(DataManipulation Language，数据操作语言)操作，生成LCR(Logical Change Record，逻辑变更记录)消息，并将该LCR消息传送给流队列；

应用消息转换模块，通过对流队列中的消息进行提起并传送，将从所述抓取消息模块获取到的LCR消息经过解析处理得到XML类型的消息，并将该XML类型的消息进行重新封装为新的消息；对LCR消息的转化封装按照源数据库产生消息变化的SCN(System ChangeNumber，系统改变号)序列转化，以保证数据的准确性；

高级队列匹配模块，将所述应用消息转换模块封装后的消息按照规则发送给高级队列，该高级队列匹配模块按照用户为消息分配队列；为保持消息转换和发送的速度，高级队列的名称由源端数据库名称、同步用户名称和数字组成，数字为1到5的任意一个数字，集群上创建队列名称与高级队列名称一致，并且高级队列匹配模块按照用户为消息分配队列，若一个用户抓取的表的数量不超过5，则按照表的数量为消息分配队列，若抓取的用户的表超过5个，则按照5个队列为抓取的表循环分配队列。

2.根据权利要求1所述的数据抽取应用器，其特征在于，所述消息路由模块包括：

第一消息接收模块，为ActiveMQ集群创建与高级队列一致的队列，从高级队列中获取数据将数据转发到ActiveMQ集群队列；

消息发送模块，定义队列消息发送的目标端，将消息发送给消息处理模块。

3.根据权利要求1所述的数据抽取应用器，其特征在于，所述消息处理模块包括：

第二消息接收模块，接收消息路由模块发送过来的消息；

消息转换模块，定义转换规则并将接收的消息进一步的根据已经定义好的转换规则进行转换；

数据库调用模块，消息应用的目标端为数据库时，用于连接数据库并应用消息；

服务调用模块，消息应用的目标端为服务时，用于服务的注册、服务的连接和服务的调用；

异常处理模块，用于记录数据在各种类型的应用中发生的错误信息。

4.一种分布式分级抽取多应用方法，其特征在于，包括如下步骤：

步骤1：抓取多个源数据库的消息，并将此消息中包含的信息转换成为XML类型的消息，然后传递到对应的高级队列；高级队列的名称由源端数据库名称、同步用户名称和数字组成，数字为1到5的任意一个数字，集群上创建队列名称与高级队列名称一致，并且高级队列匹配模块按照用户为消息分配队列，若一个用户抓取的表的数量不超过5，则按照表的数量为消息分配队列，若抓取的用户的表超过5个，则按照5个队列为抓取的表循环分配队列；

步骤2：获取步骤1中高级队列中的消息并传递到ActiveMQ集群，并将集群中的数据进行发送；

步骤3：抓取步骤2发送的消息，并将消息通过处理之后应用于多个不同的应用目标端；

所述步骤3包括如下步骤：

步骤3-1：创建转换规则，并接收步骤2发送的消息，根据该转换规则将接收的消息进一步进行转换；

步骤3-2：当消息应用的目标端为数据库时，将步骤3-1中转换得到的消息连接数据库并应用消息；当消息应用的目标端为服务时，将步骤3-1中转换得到的消息进行服务的注册、连接和调用；

步骤3-3：将消息应用过程中的异常消息持久化到数据库，供用户处理；

所述转换规则以可安装配置的插件的形式使用，该规则通过解析XML类型的消息的内容，XML类型的变化消息根据变化对象名称、操作类型、字段名称、字段值等不同的信息，进行重新的数据拼接，解析成目标端可以使用的类型数据。