[发明专利]数据采集方式的确定方法及装置、存储介质、电子装置

说明书

本发明提供了一种数据采集方式的确定方法及装置、存储介质、电子装置，获取待进行数据采集的数据表的表情况，其中，所述表情况至少用于指示以下之一：所述数据表的数据量，所述数据表的表字段，所述数据表的视图情况；根据所述表情况确定对所述数据表的数据进行采集所采用的数据采集方式。通过本发明，解决了相关技术中，数据表的采集效率较低的问题，进而达到了在进行数据采集时，对不同的数据表情况，系统自动推荐数据采集技术，从而降低数据采集的技术门槛，提高了数据采集效率。

技术领域

本发明涉及通信领域，具体而言，涉及一种数据采集方式的确定方法及装置、存储介质、电子装置。

背景技术

随着IT应用建设的发展，数据成为了最重要的资源，无论是接地气的业务系统、应用软件、数据中心或是高大上的云/物/移/大/智，均是以数据资源为核心，依托发挥数据价值而存在和发展。目前，虽然各行业IT发展成熟度不一致，但基本已经度过了大批量业务系统建设阶段，业务系统也经过了几年的运转，积累了不同量级的数据资源。但因早期IT业务系统的很少跨部门、跨单位、跨层级的统一规划和建设，导致业务系统处于分散、独立的状况，业务间数据资源不仅处于烟囱状态，且数据资源的一致性和互用性较差，数据资源的价值无法充分发挥。基于这些问题需要建立数据采集系统将数据有机地采集起来，但由于数据表的复杂性，数据采集技术的差异性，数据采集系统无法仅使用一种数据采集技术就能满足所有数据表的采集需求。如：对数据表数据采集的技术有分布式JDBC、Spark、Sqoop，这三者针对表的不同情况又有不同配置的参数，因为情况的复杂性，在实际的数据采集过程中，需要人工去确认每一张表的数据情况，然后选择数据采集技术，配置采集参数，这对数据采集实施人员有较高的技术要求，同时操作过程中配置数据采集作业的效率较低。

针对相关技术中，数据表的采集效率较低问题，尚未提出解决方案。

发明内容

本发明实施例提供了一种数据采集方式的确定方法及装置、存储介质、电子装置，以至少解决了数据表的采集的效率较低的问题。

根据本发明的一个实施例，提供了一种数据采集方式的确定方法，包括：获取待进行数据采集的数据表的表情况，其中，表情况至少用于指示以下之一：数据表的数据量，数据表的表字段，数据表的视图情况；根据表情况确定对数据表的数据进行采集所采用的数据采集方式。

可选地，根据表情况确定对数据表的数据进行采集所采用的数据采集方式之后，所述方法还包括：确定数据采集方式所采用的采集参数。

可选地，根据表情况确定对数据表的数据进行采集所采用的数据采集方式，包括：在数据表的表数量小于预设阈值的情况下，确定数据采集方式为第一数据采集方式；在数据表的表数量大于预设阈值的情况下，确定表字段中是否存在指定字段类型；如果存在，则确定数据采集方式为第一数据采集方式；如果不存在，则确定视图情况是否指示数据表采用了策略前置条件调用视图，如果是，则确定数据采集方式为第一数据采集方式；如果不是，则确定数据采集方式为第二数据采集方式。

可选地，确定数据采集方式所采用的采集参数，包括：在数据采集方式为第二数据采集方式的情况下，确定第二数据采集方式的切分规则至少包括以下之一：数据表的分区规则，数据表的字段索引，数据表的字段类型。

可选地，确定数据采集方式所采用的采集参数之后，所述方法还包括：接收目标对象的指示信息；响应指示信息，保存采集参数，并根据保存的采集参数对数据表进行数据采集。

根据本发明的另一个实施例，提供了一种数据采集方式的确定装置，包括：获取模块，用于获取待进行数据采集的数据表的表情况，其中，表情况至少用于指示以下之一：数据表的数据量，数据表的表字段，数据表的视图情况；确定模块，用于根据表情况确定对数据表的数据进行采集所采用的数据采集方式。

可选地，确定模块，还用于确定数据采集方式所采用的采集参数。