[发明专利]任务数据生成系统、方法、电子设备和存储介质

说明书

本发明涉及数据处理技术领域，提供一种任务数据生成系统、方法、电子设备和存储介质。任务数据生成系统包括：数据接入模块，设有数据接口，用于通过数据接口实时接入来自第三方数据源的外部数据，并传输外部数据；数据过滤模块，与数据接入模块耦接，用于对外部数据进行过滤，并传输过滤后的外部数据；数据流转模块，与数据过滤模块耦接，用于根据各组任务数据的触发条件，自过滤后的外部数据中分流出匹配各触发条件的外部数据，流转至各组任务数据中。本发明通过数据接口统一对接第三方数据源，实时接入外部数据，保证时效，并自动过滤和流转外部数据，生成对应的任务数据，确保各组任务数据的精准性，满足业务开展需求。

技术领域

本发明涉及数据处理技术领域，具体地说，涉及一种任务数据生成系统、方法、电子设备和存储介质。

背景技术

在企业中，业务方开展业务活动需要使用客户数据等外部数据，目前业务方获取外部数据的方式是，依靠大数据部门对企业数据库中的外部数据进行清洗，形成数据表，业务方通过登录虚拟机，从数据表中拉取外部数据，导入到任务中，以开展业务活动。

由于不同业务方对外部数据的需求各不相同，而大数据部门只能对外部数据进行粗略的清洗整理，无法满足不同业务方的不同需求，导致业务方获取到的外部数据中包含大量冗余数据，无法直接使用，影响业务开展效率。

并且，在一些场景中，企业数据库中没有业务方需要的外部数据，则需要大数据部门先经过代码开发、联调、测试等流程，建立与第三方数据源对接的平台，通过平台获取外部数据，整理成数据表，再供业务方下载，导入到任务中。当外部数据的字段变更后，平台还需返工进行再次开发和对接调试，浪费人力。

可见，目前外部数据获取困难，时效性低，冗余数据多，且对接第三方数据源的成本高，耗时长，无法满足业务开展需求。

需要说明的是，上述背景技术部分公开的信息仅用于加强对本发明的背景的理解，因此可以包括不构成对本领域普通技术人员已知的现有技术的信息。

发明内容

有鉴于此，本发明提供一种任务数据生成系统、方法、电子设备和存储介质，能够通过数据接口统一对接第三方数据源，实时接入外部数据，保证时效，并能够自动过滤和流转外部数据，生成对应的任务数据，确保任务数据的精准性，满足业务开展需求。

本发明的一个方面提供一种任务数据生成系统，包括：数据接入模块，设有数据接口，所述数据接入模块用于通过所述数据接口实时接入来自第三方数据源的外部数据，并传输所述外部数据；数据过滤模块，与所述数据接入模块耦接，所述数据过滤模块用于对所述外部数据进行过滤，并传输过滤后的外部数据；以及数据流转模块，与所述数据过滤模块耦接，所述数据流转模块用于根据各组任务数据的触发条件，自所述过滤后的外部数据中分流出匹配各所述触发条件的外部数据，流转至各组所述任务数据中。

在一些实施例中，所述的任务数据生成系统还包括：任务导出模块，设有任务接口，所述任务导出模块与所述数据流转模块耦接，用于根据各组所述任务数据的执行条件，通过所述任务接口导出对应的所述任务数据。

在一些实施例中，所述数据接入模块还用于根据开关条件，动态控制所述数据接口的开启和关闭。

在一些实施例中，所述传输所述外部数据，包括：所述数据接入模块对所述外部数据进行格式校验；以及，所述数据接入模块传输格式校验通过的外部数据，并拦截格式校验未通过的外部数据。

在一些实施例中，所述数据过滤模块用于对所述外部数据进行过滤，包括：所述数据过滤模块根据预设字段，对接收到的外部数据进行字段校验，并反馈字段校验结果；以及，所述数据过滤模块根据所述预设字段，对字段校验通过的外部数据进行冗余过滤，使过滤后的外部数据保留与所述预设字段匹配的数据字段。