[发明专利]数据处理平台以及数据处理方法

说明书

本发明实施例公开一种数据处理平台，包括：第一组件，包括采用标准接口封装的第一算法；第二组件，包括采用标准接口封装的第二算法；其中，所述标准接口用于使所述第一算法、所述第二算法分别利用数据结构为Dataset的数据进行计算，并输出数据结构为Dataset的计算结果，以使所述第一组件和所述第二组件能够串联；所述第一算法和所述第二算法为不同编程语言所编写的机器学习算法。在上述技术方案中的数据处理平台上，用户可以将两种不同的编程语言编写的机器学习算法直接串联，不必考虑编程语言的障碍，也不需要掌握专业的编程知识，实现多语言的算法交叉调用执行，降低使用成本。

技术领域

本发明涉及大数据处理技术领域，具体涉及一种数据处理平台，以及一种数据处理方法。

背景技术

随着结构化、半结构化、非结构化数据的日益增长，如何从海量的数据中挖掘出有价值的信息，成为数据处理平台所面临的挑战。

在不同的应用场景中，面对的数据不同、数据的存储格式不同以及用户需要挖掘出的信息不同，计算机需要对数据做的处理也相应地不同。这就使得在处理数据时，往往需要用到多种不同的机器学习算法来完成不同的任务，例如使用神经网络、支持向量机、逻辑回归、决策树、随机森林算法、朴素贝叶斯、隐马尔可夫、条件随机场等算法。将多种不同的算法组合起来，以得到一种针对特定应用场景的数据处理方法，进而从海量的数据中挖掘出满足用户需求的信息。

然而，不同的算法可能由不同的编程语言来编写，例如JAVA、Python、R语言等，这些不同的算法无法直接被串联形成一个完整的数据处理方法，供数据处理平台的用户用来处理数据，这是本领域技术人员亟待解决的问题。

发明内容

为解决上述技术问题，本申请提供一种数据处理平台，该平台上的组件包含不同编程语言所编写的算法，这些组件可以被灵活地组合起来，从而使用户可以将不同编程语言所编写的机器学习算法直接串联起来使用。

第一方面，提供一种数据处理平台，包括：

第一组件，包括采用标准接口封装的第一算法；

第二组件，包括采用标准接口封装的第二算法；

其中，所述标准接口用于使所述第一算法、所述第二算法分别利用数据结构为Dataset的数据进行计算，并输出数据结构为Dataset的计算结果，以使所述第一组件和所述第二组件能够串联；所述第一算法和所述第二算法为不同编程语言所编写的机器学习算法。

结合第一方面，在第一方面第一种可能的实现方式中，该数据处理平台还包括：

交互单元，用于：根据处理流程中的第一节点，将所述第一组件及第一数据集发送给执行器；接收第一计算结果，所述第一计算结果为执行器利用第一组件处理第一数据集所得到的数据结构为Dataset的计算结果；以及，根据处理流程中的第二节点，将所述第二组件和所述第一计算结果发送给执行器；其中，所述处理流程中的所述第二节点连接于所述第一节点之后，并且所述第一节点与所述第一组件对应，所述第二节点与所述第二组件对应。

结合第一方面的第一种实现方式，在第一方面第二种可能的实现方式中，该数据处理平台还包括：

执行器，用于：利用第一组件处理第一数据集，得到数据结构为Dataset的第一计算结果；将所述第一计算结果发送给所述交互单元；接收所述交互单元发送的第二组件和第一计算结果；以及，利用第二组件处理第一计算结果，得到数据结构为Dataset的第二计算结果。

结合第一方面及上述第一种和第二种实现方式，在第一方面第三种可能的实现方式中，该数据处理平台还包括：

第三组件，包括采用标准接口封装的第三算法；所述第三算法为与所述第二算法采用相同的编程语言所编写的机器学习算法；所述标准接口还用于使所述第三算法利用数据结构为Dataset的数据进行计算，并输出数据结构为Dataset的计算结果。