[发明专利]数据接入方法、装置、电子设备及存储介质

权利要求书

1.一种数据接入方法，包括：

接收数据获取请求；所述数据获取请求包括待导入数据的配置数据；

根据所述配置数据确定数据导入参数；

根据所述数据导入参数确定进行数据导入的线程的并行线程数量以及每个线程需要导入数据的子数据量；其中，所述线程所要导入数据的子数据量之和为所述待导入数据的总数据量；

并行执行所述并行线程数量个所述线程，由所述线程从生产平台获取待导入数据。

2.根据权利要求1所述的方法，其中，根据所述配置数据确定所述数据导入参数，包括：

根据所述配置数据确定数据导入方式为全量数据导入方式还是增量数据导入方式；

在所述数据导入方式为增量数据导入方式时，确定所述待导入数据在生成平台中的数据源的导入开始位置。

3.一种数据接入方法，包括：

响应于检测到的数据获取配置操作，向用户展示数据源配置界面；

获取用户在所述数据源配置界面中提供的待导入数据的数据源；

在所述数据源不支持增量数据导入方式时，向所述用户展示全量数据导入配置界面，并从所述全量数据导入配置界面获取配置数据；

向数据导入服务器发送数据获取请求，所述数据获取请求包括所述配置数据。

4.一种数据接入方法，包括：

客户端响应于检测到的数据获取配置操作，向用户展示数据源配置界面；

所述客户端获取用户在所述数据源配置界面中提供的待导入数据的数据源；

所述客户端在所述数据源不支持增量数据导入方式时，向所述用户展示全量数据导入配置界面，并从所述全量数据导入配置界面获取配置数据；

所述客户端向数据导入服务器发送数据获取请求，所述数据获取请求包括所述配置数据；

所述数据导入服务器接收数据获取请求；所述数据获取请求包括待导入数据的配置数据；

所述数据导入服务器根据所述配置数据确定数据导入参数；

所述数据导入服务器根据所述数据导入参数确定进行数据导入的线程的并行线程数量以及每个线程需要导入数据的子数据量；其中，所述线程所要导入数据的子数据量之和为所述待导入数据的总数据量；

所述数据导入服务器并行执行所述并行线程数量个所述线程，由所述线程从生产平台获取待导入数据。

5.一种数据接入装置，包括：

接收模块，被配置为接收数据获取请求；所述数据获取请求包括待导入数据的配置数据；

第一确定模块，被配置为根据所述配置数据确定数据导入参数；

第二确定模块，被配置为根据所述数据导入参数确定进行数据导入的线程的并行线程数量以及每个线程需要导入数据的子数据量；其中，所述线程所要导入数据的子数据量之和为所述待导入数据的总数据量；

并行执行模块，被配置为并行执行所述并行线程数量个所述线程，由所述线程从生产平台获取待导入数据。

6.一种数据接入装置，包括：

响应模块，被配置为响应于检测到的数据获取配置操作，向用户展示数据源配置界面；

获取模块，被配置为获取用户在所述数据源配置界面中提供的待导入数据的数据源；

展示模块，被配置为在所述数据源不支持增量数据导入方式时，向所述用户展示全量数据导入配置界面，并从所述全量数据导入配置界面获取配置数据；

发送模块，被配置为向数据导入服务器发送数据获取请求，所述数据获取请求包括所述配置数据。