[发明专利]一种数据处理方法、装置及平台

说明书

本申请公开了一种数据处理方法及装置。其中所述数据处理方法，包括：获得数据引擎信息；获得与所述数据引擎信息适配的标准接口函数的信息；根据所述与所述数据引擎信息适配的标准接口函数的信息，查找利用与所述数据引擎信息适配的标准接口函数生成的插件；利用所述查找到的插件进行数据处理。采用本申请提供的方法，解决了现有技术中，由于插件的实现和数据引擎具有强耦合关系，在数据处理的过程中针对新增的数据引擎，需要开发对应该新增的数据引擎的新插件，从而导致开发资源浪费的问题。

技术领域

本申请涉及大数据领域，具体涉及一种数据处理方法、装置及平台。

背景技术

传统的数据处理方法，插件的开发依赖于具体的数据引擎。插件是一种遵循一定规范的应用程序接口编写的程序，可以增加或者增强软件功能。这里，数据引擎可以采用现有技术中常用的Blink引擎、Hadoop引擎等数据引擎。

现有技术提供的这种数据处理方法，插件和数据引擎是强耦合在一起的。一旦需要向数据处理的平台中新增数据引擎，就必须开发对应该新增数据引擎的新插件，从而导致了开发资源的浪费。

发明内容

本申请提供一种数据处理方法，以解决现有技术中，由于插件的实现和数据引擎具有强耦合关系，在数据处理的过程中针对新增的数据引擎，需要开发对应该新增的数据引擎的新插件，从而导致开发资源浪费的问题。

本申请提供的一种数据处理方法，包括：

获得数据引擎信息；

获得与所述数据引擎信息适配的标准接口函数的信息；

根据所述与所述数据引擎信息适配的标准接口函数的信息，查找利用与所述数据引擎信息适配的标准接口函数生成的插件；

利用所述查找到的插件进行数据处理。

可选的，所述获得与所述数据引擎信息适配的标准接口函数的信息，包括如下步骤中的至少一种：

获得与所述数据引擎信息适配的初始化阶段的标准接口函数的信息；

获得与所述数据引擎信息适配的准备阶段的标准接口函数的信息；

获得与所述数据引擎信息适配的执行阶段的标准接口函数的信息；

获得与所述数据引擎信息适配的完成阶段的标准接口函数的信息；

获得与所述数据引擎信息适配的清理阶段的标准接口函数的信息。

可选的，所述根据所述与所述数据引擎信息适配的标准接口函数的信息，查找利用与所述数据引擎信息适配的标准接口函数生成的插件，包括：

获取数据同步的请求；

根据所述数据同步的请求以及所述与所述数据引擎信息适配的标准接口函数的信息，查找利用与所述数据引擎信息适配的标准接口函数生成的插件。

可选的，所述数据引擎信息适配的标准接口函数生成的插件，包括如下插件中的至少一种：

用于数据抽取的读插件；

用于数据写入的写插件；

用于数据转换的转换插件。

可选的，所述转换插件采用如下步骤实现数据转换：

获取指定的数据过滤规则；

根据所述指定的数据过滤规则，针对所述转换插件提供的数据进行过滤；

获得数据过滤后的目标数据。

可选的，所述转换插件采用如下步骤实现数据转换：

获取指定的数据转换规则；