[发明专利]一种基于热插拔组件式数据集成方法

摘要

本发明公开了一种基于热插拔组件式数据集成方法，通过Java的类动态加载机制，将数据集成组件加载到类加载器中分别进行数据抽取、数据转换和数据载入三步操作。本发明数据集成方法简化了数据集成流程，整个流程只有三个环节，在可用性方面，整个数据集成流程在加载数据集成组件时不需要重启引擎既可以加载组件，此种处理方式可以很大程度上提高系统的运行稳定性和运行效率，同时采取此方法的系统将极大的降低运维成本，并且减少系统因重启而产生的数据丢失等问题，提高用户体验。

主权项

1.一种基于热插拔组件式数据集成方法，其特征在于，包括以下步骤：第一步：通过界面上传抽取器、转换器、载入器以及组件，所述组件均被打成Jar包，系统将上传的组件存放在某个固定位置，上传组件时组件名称、抽取器类型、抽取器具体实现类的路径会被记录在系统中；第二步：当数据集成任务执行时，系统首先会重新启动一个数据集成引擎来执行具体的集成任务；第三步：数据集成引擎启动后，第一时间会根据集成任务ID初始化任务配置信息，所述任务配置信息包括抽取器需要的数据、转换器需要的数据、载入器需要的数据、抽取器的选择、转换器的选择和载入器的选择；第四步：数据集成引擎从初始化的配置信息中获取抽取器的Jar包名称和抽取器主类的具体路径，并将抽取器的Jar包名称和抽取器主类的具体路径传递给组件加载器，第五步：组件加载器获取抽取器的Jar包名称后，去组件存放的路径下面找到并加载相应的Jar包文件，此时整个系统会自动感知并将Jar包文件加载到系统类库中，再根据传入的抽取器主类信息，找到并创建具体的抽取器实现类，将创建好的抽取器实现类交给数据集成引擎；第六步：数据集成引擎执行抽取器的extract方法，并将初始化的任务配置信息传递给extract方法；第七步：具体的抽取器执行结束，将执行结果交给数据集成引擎；第八步：数据集成引擎根据任务配置信息判断是否需要进行数据转换操作，如果需要，则将配置的转换器的Jar包名称，转换器的主类的具体路径传递给组件加载器；第九步：组件加载器根据转换器的Jar包名称和转换器的主类的具体路径找到并创建具体的转换器实现类，将创建好的转换器实现类交给数据集成引擎；第十步：数据集成引擎循环遍历抽取结果，将每条抽取结果根据任务配置信息进行数据转换，执行具体转换器的对应方法并传入需要转换数据的字段值，转换的结果会生成一个新的字段，直到遍历结束，转换结束；第十一步：数据集成引擎根据任务配置信息调用组件加载器生成载入器；第十二步：数据集成引擎执行载入器的insert方法，并将转换结果数据和任务配置信息传递给insert方法；第十三步：具体的载入器执行结束，将执行结果交给数据集成引擎。