[发明专利]分布式分级抽取多应用方法和数据抽取应用器

说明书

本发明提供一种数据抽取应用器和分布式分级抽取多应用方法，所述数据抽取应用器包括源数据模块，抓取多个源数据库的消息，并将此消息中包含的信息转换，传递到对应的高级队列；消息路由模块，获取所述源数据模块中高级队列中的消息并传递到ActiveMQ集群，并将集群中的数据进行发送；消息处理模块，抓取所述消息路由模块发送的消息，并将消息通过处理、转换之后应用于多个不同的应用目标端。根据本发明提供的数据抽取应用器和分布式分级抽取多应用方法，实现了将分布在各个区域源数据库数据采用分级抽取消息并将消息解析、转换、封装然后进行多应用的一种数据库应用方案，解决分布式的环境下多个数据库中的数据进行共享和多应用的可能性。

技术领域

本发明涉及一种数据抽取应用器和方法，更具体地，涉及一种对分布式数据进行分级抽取以实现多应用的分布式分级抽取多应用方法和数据抽取应用器。

背景技术

通常，社会各界服务领域如人力资源和社会保障业务会涉及社会保险、公共就业、劳动关系、人事人才等诸多项目，服务面广且量大，积累了海量的业务数据。同时，网络和信息技术等的飞速发展对各领域的业务处理、信息整合以及科学管理等提出了更高的要求，继续实现信息整合，打破信息孤岛，实现信息共享，简化办事流程，为群众提供更加便捷的服务。该需求需要对各地市及和业务系统的数据进行统一的整合，将不同区域数据的实时更新应用于不同的目标端。

目前大多数的数据抽取技术采取的数据抽取方式为端到端的数据抽取模式，无法将多地区的数据统一进行抽取，抽取到的数据无法应用到多个目标端进行多方面的应用。

发明内容

本发明是为了解决上述问题而提出的，其目的在于提供一种数据抽取应用器，以实现对多个源数据库的消息同时抽取，并分级提取，且同时应用得到多个应用和服务等目标端的目的。

本发明的另一目的是提供一种分布式分级抽取多应用方法。

为实现以上目的，本发明提供一种数据抽取应用器，包括：源数据模块，抓取多个源数据库的消息，并将此消息中包含的信息转换成为XML(Extensible Markup Language，可扩展标记语言)消息，然后传递到对应的高级队列；消息路由模块，通过获取所述源数据模块中高级队列中的消息并传递到ActiveMQ集群，并将集群中的数据进行发送；消息处理模块，用于抓取所述消息路由模块发送的消息，并将消息通过处理、转换之后应用于多个不同的应用目标端。

优选地，所述源数据模块包括：抓取消息模块，通过抓取各个数据库中的重做日志，抓取对源数据库中的DML(Data Manipulation Language，数据操作语言)操作，生成LCR(Logical Change Record，逻辑变更记录)消息，并将该LCR将消息传送给流队列；应用消息转换模块，通过对流队列中的消息进行提起并传送，将从所述抓取消息模块获取到的LCR消息经过解析处理得到XML类型的消息，并将该XML类型的消息进行重新封装为新的消息；高级队列匹配模块，将所述应用消息转换模块封装后的消息按照规则发送给高级队列，该高级队列匹配模块按照用户为消息分配队列。

优选地，所述消息路由模块包括：第一消息接收模块，为ActiveMq集群创建与高级队列一致的队列，从高级队列中获取数据将数据转发到ActiveMq集群队列；消息发送模块，定义队列消息发送的目标端，将消息发送给消息处理模块。

优选地，所述消息处理模块包括：第二消息接收模块，接收消息路由模块发送过来的消息；消息转换模块，定义转换规则并将接收的消息进一步的根据已经定义好的转换规则进行转换；数据库调用模块，消息应用的目标端为数据库时，用于连接数据库并应用消息；服务调用模块，消息应用的目标端为服务时，用于服务的注册、服务的连接和服务的调用；异常处理模块，用于记录数据在各种类型的应用中发生的错误信息。