[发明专利]数据处理系统、方法和设备

说明书

本发明公开了一种数据处理系统、方法和设备。该系统包括控制组件，以及耦合到控制组件的多个计算子组件；多个计算子组件在控制组件中的处理流程的指示下，分别处理样本数据集合的样本子集，对于多个计算子组件中的一个：数据组件用于基于控制组件中的处理流程，将样本数据集合的样本子集依次输出到嵌入组件；嵌入组件，用于基于控制组件中的处理流程接收样本子集，基于映射参数，将样本子集中的样本数据映射到多维空间得到多维样本子集，并输出多维样本子集到后端组件；后端组件，用于根据后端组件中存储的模型对接收的多维样本子集进行模型训练。根据本发明实施例提供的数据处理系统，可以节约计算资源，提高海量样本数据的计算能力。

技术领域

本发明涉及计算机技术领域，尤其涉及数据处理系统、方法和设备。

背景技术

从2010年以来，深度学习从学术界大规模地走向了工业界，并在图像、语音、自然语言处理等领域均取得了突破性的进展和良好的效果。深度学习可以充分利用了强大的计算力，通过多层神经网络级联的方式构建了复杂的非线性模型，在海量数据上直接进行端到端的问题求解。

这些取得了良好效果的深度学习框架，往往问题空间较小且特征空间连续，并且深度模型的参数规模一般在十亿GB以下。

但是，当深度模型的模型复杂度极高，参数规模动辄百亿甚至千亿，用来训练模型的样本达到几十TB甚至更大时，这样的数据规模非常耗费计算资源，计算能力低下。

发明内容

本发明实施例提供的数据处理系统、方法和设备，可以节约计算资源，提高海量样本数据的计算能力。

根据本发明实施例的一方面，提供一种数据处理系统，包括：控制组件，以及耦合到控制组件的多个计算子组件，该计算子组件包括一个或多个数据组件、一个或多个嵌入组件和一个或多个后端组件；多个计算子组件在控制组件中的处理流程的指示下，分别处理样本数据集合的样本子集，对于多个计算子组件中的一个：

数据组件，用于基于控制组件中的处理流程，将样本数据集合的样本子集依次输出到嵌入组件；

嵌入组件，用于基于控制组件中的处理流程接收样本子集，基于映射参数，将样本子集中的样本数据映射到多维空间得到多维样本子集，并输出多维样本子集到后端组件；

后端组件，用于接收多维样本子集，并根据后端组件中存储的模型对多维样本子集进行模型训练。

根据本发明实施例的另一方面，提供一种数据处理方法，包括：耦合控制组件和多个计算子组件，每个计算子组件包括一个或多个数据组件、一个或多个嵌入组件和一个或多个后端组件；多个计算子组件在控制组件中的处理流程的指示下，分别处理样本数据集合的样本子集，对于多个计算子组件中的一个：

数据组件基于控制组件中的处理流程，将样本数据集合的样本子集依次输出到嵌入组件；

嵌入组件基于控制组件中的处理流程接收样本子集，基于映射参数，将样本子集中的样本数据映射到多维空间得到多维样本子集，并输出多维样本子集到后端组件；

后端组件接收多维样本子集，并根据后端组件中存储的模型对多维样本子集进行模型训练。

根据本发明实施例的再一方面，提供一种数据处理设备，包括：存储器和处理器；该存储器用于储存有可执行程序代码；该处理器用于读取存储器中存储的可执行程序代码以执行上述的数据处理方法。

根据本发明实施例中的数据处理系统、方法和设备，在面对海量数据和复杂模型时，可以通过数据并行和模型并行的方式，提高数据处理过程的计算能力，节约资源，降低耗电量，达到更好的对样本进行深度模型学习的效果。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对本发明实施例中所需要使用的附图作简单地介绍，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。