[发明专利]数据回流平台、系统及方法

说明书

本发明公开了一种数据回流平台、系统及方法。其中数据回流平台包括：任务实例创建模块用于根据业务端的需求，创建任务实例，以及维护所创建的任务实例与脚本文件的存储路径之间的关联关系；文件系统用于存储业务端预先上传的脚本文件；通用数据回流接口用于接收业务端发送的数据回流请求，数据回流请求中包含业务标识；执行模块用于根据业务标识查询匹配的任务实例，执行任务实例，以动态加载与任务实例关联的脚本文件，将待回流的数据写入离线平台中，基于通用的数据回流能力，将不同的数据回流场景路由到不同的脚本文件，有效地规避了业务端重复开发的资源损耗问题，通过通用数据回流接口执行数据回流，实现了统一的资源调配和应用监控。

技术领域

本发明涉及数据处理技术领域，具体涉及一种数据回流平台、系统及方法。

背景技术

互联网行业产生的数据量非常大，而所产生的数据对于任何企业而言都是非常宝贵的资源，因此，需要将数据回流至离线平台中待用，例如，进行数据分析等。通常是通过数据回流接口将产生的数据导入至离线平台，不同的业务端的数据回流需求不同，这样就需要开发不同的数据回流接口，数据回流接口上线前通常需要经过以下过程：联调、测试、发布接口、上线。虽然通过开发多个数据回流接口可以实现数据回流的需求，但是重复的开发测试和发布无疑增加了技术开发成本和维护成本，同时也是对开发资源的一种浪费。

发明内容

鉴于上述问题，提出了本发明以便提供一种克服上述问题或者至少部分地解决上述问题的数据回流平台、系统及方法。

根据本发明的一个方面，提供了一种数据回流平台，包括：

任务实例创建模块，用于根据业务端的需求，创建任务实例，以及维护所创建的任务实例与脚本文件的存储路径之间的关联关系；

文件系统，用于存储业务端预先上传的脚本文件；

通用数据回流接口，用于接收业务端发送的数据回流请求，数据回流请求中包含业务标识；

执行模块，用于根据业务标识查询匹配的任务实例，执行任务实例，以动态加载与任务实例关联的脚本文件，将待回流的数据写入离线平台中。

可选地，文件系统进一步用于：接收业务端发送的携带有修改后的脚本文件的修改请求，将原脚本文件替换为修改后的脚本文件，并存储修改后的脚本文件。

可选地，执行模块进一步用于：执行脚本文件的存储逻辑，确定待回流的数据写入的目标离线表；执行脚本文件的解析逻辑对待回流的数据进行解析处理，将解析后的待回流的数据写入离线平台的目标离线表中。

可选地，数据回流平台还包括：分配模块，用于为业务端分配业务标识，并将业务标识返回给业务端。

可选地，任务实例创建模块进一步用于：向业务端提供配置页面，以供业务端在配置页面中输入任务配置信息，根据任务配置信息创建任务实例。

可选地，任务配置信息包括以下信息中的一种或多种：任务执行速率、任务执行周期和/或任务执行权限。

可选地，脚本文件为Grovvy脚本文件。

根据本发明的另一方面，提供了一种数据回流系统，包括上述数据回流平台及离线平台；

离线平台，用于落地存储待回流的数据。

根据本发明的另一方面，提供了一种利用数据回流平台实现的数据回流方法，包括：

根据业务端的需求，创建任务实例；

存储业务端预先上传的脚本文件，维护所创建的任务实例与脚本文件的存储路径之间的关联关系；

接收业务端发送的数据回流请求，数据回流请求中包含业务标识；