[发明专利]一种数据抽取方法、主服务器和集群

说明书

技术领域

本发明涉及网络通信技术领域，特别涉及一种数据抽取方法、主服务器和数据转换集群。

背景技术

随着云计算技术的不断发展，云计算技术不断落地成为支撑各行业信息技术发展的重要支柱。通常，需要用户将本地系统中的数据抽取到云平台中的数据库中进行保存，比如，传统的业务系统大多构建在关系型数据库之上，可以将用户本地的关系型数据库中的数据转移到云数据库中。此后，则可以实现基于云平台的各种服务，比如，用户共享云平台的数据库中的数据等。

在将数据从用户本地数据库抽取到云平台的过程中，如何更为高效地实现数据抽取过程，则成为了一个重要的问题。

发明内容

本发明提供一种数据抽取方法、主服务器和数据转换集群，能够更高效地实现数据抽取。

一种数据抽取方法，建立包括主服务器和多个子服务器的数据转换集群；包括：

所述数据转换集群中的主服务器将对待抽取数据的第一处理分解为两个以上的处理步骤；

所述主服务器将分解的各个处理步骤的信息以配置文件的形式发送给所述数据转换集群中的各个子服务器，以触发该各个子服务器分别执行各自对应的处理步骤，以及触发经第一处理完成之后的数据抽取到云平台中。

所述第一处理为可并行并且无需进行合并的处理；

所述触发经第一处理完成之后的数据抽取到云平台中包括：触发所述各个子服务器直接将各自处理完成后的数据直接传送到云平台中；

或者，

所述第一处理为可并行并且需要进行合并的处理；所述将对待抽取数据的第一处理分解为两个以上的处理步骤之后，进一步包括：确定各个处理步骤之间的拆分关系；

所述触发经第一处理完成之后的数据抽取到云平台中包括：触发所述各个子服务器将各自的处理结果发回所述主服务器，所述主服务器根据所述各个处理步骤之间的拆分关系，对接收到的各个处理结果进行整合，将整合后的数据传送到云平台中。

所述可并行并且无需进行合并的处理包括：入库处理。

该方法进一步包括：

所述数据转换集群中的主服务器接收子服务器的动态注册请求，主服务器每间隔预设的查询周期监视子服务器是否处于有效状态，并根据查询结果，更新处于所述数据转换集群中的子服务器。

在所述数据转换集群中的主服务器将对待抽取数据的处理分解为两个以上的处理步骤之前，进一步包括：

所述主服务器根据预设策略判断当前是否需要进行大数据集群处理，如果是，则继续执行所述的将对待抽取数据的第一处理分解为两个以上的处理步骤，否则，直接由主服务器对待抽取的数据进行处理，并传送到云平台中。

一种主服务器，位于数据转换集群中，包括：

分解单元，用于将对待抽取数据的第一处理分解为两个以上的处理步骤；

并行处理单元，用于将分解的各个处理步骤的信息以配置文件的形式发送给所述数据转换集群中的各个子服务器，以触发该各个子服务器分别执行各自对应的处理步骤，以及触发经第一处理完成之后的数据抽取到云平台中。

所述第一处理为可并行并且无需进行合并的处理；

所述并行处理单元包括第一触发子单元，用于触发所述各个子服务器直接将各自处理完成后的数据直接传送到云平台中；

或者，

所述第一处理为可并行并且需要进行合并的处理；

所述分解单元，进一步用于确定各个处理步骤之间的拆分关系；

所述并行处理单元包括第二触发子单元和合并处理子单元，其中，

第二触发子单元，用于触发所述各个子服务器将各自的处理结果发回；

所述合并处理子单元，根据所述各个处理步骤之间的拆分关系，对接收到的各个处理结果进行整合，将整合后的数据传送到云平台中。

进一步包括：更新单元，用于接收所述子服务器的动态注册请求，每间隔预设的查询周期监视子服务器是否处于有效状态，并根据查询结果，更新处于所述数据转换集群中的子服务器。

一种数据转换集群，包括：多个子服务器和上述任一主服务器，其中，

每一个子服务器，用于分别执行各自对应的处理步骤。

每一个子服务器，进一步用于直接将处理完成后的数据传送到云平台中；或者，进一步用于将处理结果发回所述主服务器；

所述主服务器，进一步用于在接收到子服务器返回的各个处理结果后，根据所述各个处理步骤之间的拆分关系，对接收到的各个处理结果进行整合，将整合后的数据传送到云平台中。