[发明专利]数据接入方法、装置、电子设备及存储介质

说明书

本公开实施例公开了一种数据接入方法、装置、电子设备、存储介质及程序产品，所述方法包括：接收数据获取请求；所述数据获取请求包括待导入数据的配置数据；根据所述配置数据确定数据导入参数；根据所述数据导入参数确定进行数据导入的线程的并行线程数量以及每个线程需要导入数据的子数据量；其中，所述线程所要导入数据的子数据量之和为所述待导入数据的总数据量；并行执行所述并行线程数量个所述线程，由所述线程从生产平台获取待导入数据。该技术方案在可以加快数据接入量较大的数据抽取过程的进程，以便通过提升数据抽取速度来降低数据库快照过旧发生的几率，从而大大提升了数据量大的数据表的接入成功率、降低了接入失败对下游业务的影响。

技术领域

本公开实施例涉及计算机技术领域，具体涉及一种数据接入方法、装置、电子设备及存储介质。

背景技术

大数据集群系统通常会对生产系统的数据进行集中存储，方便管理以及供下游使用。而生产系统中存储数据的数据表存在一个问题，即数据量过大，比如商户表、终端表等，一个数据表中的数据量可能会超过千万条。生成系统中存储数据的数据表还存在另一个问题，也即生产系统中的部分数据表可以通过增量接入的方式获取，可以降低每次的数据抽取量，而还有一些数据表可能受限于当初的设计或业务数据的实际情况，在数据抽取时只能全量接入，不能通过增量方式接入，而每次抽取的数据量超过千万的接入会比较容易出现失败的情况。本公开发明人发现，接入失败的一个原因是数据库快照过旧，而这些接入数据表是比较重要的业务表的情况下，如果接入失败则容易对下游业务(报表、分润、账务等)造成严重的业务影响。因此，如何在数据接入过程中避免出现由于一次数据接入量过大而导致失败的问题是当前需要解决的技术问题之一。

发明内容

本公开实施例提供一种数据接入方法、装置、电子设备、存储介质及程序产品。

第一方面，本公开实施例中提供了一种数据接入方法，包括：

接收数据获取请求；所述数据获取请求包括待导入数据的配置数据；

根据所述配置数据确定数据导入参数；

根据所述数据导入参数确定进行数据导入的线程的并行线程数量以及每个线程需要导入数据的子数据量；其中，所述线程所要导入数据的子数据量之和为所述待导入数据的总数据量；

并行执行所述并行线程数量个所述线程，由所述线程从生产平台获取待导入数据。

进一步地，根据所述配置数据确定所述数据导入参数，包括：

根据所述配置数据确定数据导入方式为全量数据导入方式还是增量数据导入方式；

在所述数据导入方式为增量数据导入方式时，确定所述待导入数据在生成平台中的数据源的导入开始位置。

进一步地，根据所述配置数据确定所述数据导入参数，包括：

确定所述配置数据中用于指定并行线程数量的参数。

进一步地，根据所述配置数据确定所述数据导入参数，还包括：

确定所述配置数据中用于分割所述待导入数据的数据分割字段。

进一步地，根据所述数据导入参数确定进行数据导入的并行线程数量以及每个线程需要导入数据的子数据量，包括：

在所述指定并行线程数量的参数为空时，将所述并行线程数量确定为默认值。

进一步地，根据所述数据导入参数确定进行数据导入的并行线程数量以及每个线程需要导入数据的子数据量，包括：

根据所述数据分割字段在所述待导入数据中的最大值以及最小值确定所述待导入数据的数据总量；

根据所述数据总量以及所述并行线程数量确定每个线程需要导入数据的子数据量。