[发明专利]基于众核处理器的数据并行处理方法及装置

说明书

本发明实施例提供了基于众核处理器的数据并行处理方法及装置，应用于单机数据库，每次确定待运算数据表后，对所述待运算数据表进行划分得到多个运算任务；将划分的运算任务分发至众核处理器的从核中，以通过不同从核并行处理运算任务。一方面，通过对待处理数据表进行排序划分，得到适合于进行并行处理的运算任务，并通过将运算任务分发至单机数据库的众核处理器中，实现了单机数据库处理大数据任务时的并行运算，充分发挥了众核处理器的运算能力；另一方面，在众核间实现了任务的并行处理，消除了并行计算节点间网络数据传输速度的瓶颈，加快了运算进程，提高了任务处理效率。

技术领域

本发明涉及分布式数据库库内分析领域，尤其是涉及基于众核处理器的数据并行处理方法及装置。

背景技术

库内分析是指在数据库内部进行科学计算、机器学习、回归分析、聚类分析，通过数据库自定义函数实现相关算法，用户调用数据库自定义函数可直接得到分析结果。数据库自定义函数的语法是基于SQL的，所有的数据调用和计算都可以在数据库内完成，不需要导入和/或导出多个数据库中的数据。用户通过数据库接口调用数据库内置函数，数据库内置函数通过访问底层存储得到数据，并进行计算、返回结果。随着更多业务领域的研究人员涉足人工智能和高性能计算领域，库内分析技术的优势愈加明显，研究人员通过简单学习数据库内置函数的用法，就可以进行机器学习相关算法的使用。

然而随着应用数据量的增长，目前的传统单机数据库的库内分析对数据进行处理，当数据量较大时，处理速度将会降低，不能满足大数据的计算需求；分布式数据库利用多台计算机上的数据库实现并行计算，可以处理数据量较大的任务，但由于在并行计算时，各计算节点间存在大量的网络数据传输，容易达到数据传输速度的瓶颈，影响并行计算速度。

由此可见，目前数据库的库内分析在处理大数据计算任务时，存在着单机数据库处理速度较低，分布式数据库容易在并行计算节点间达到网络数据传输速度的瓶颈，影响并行计算速度，降低任务处理效率的问题。

发明内容

本发明实施例提供了基于众核处理器的数据并行处理方法及装置，用于解决现有技术中的数据库的库内分析在处理大数据计算任务时，存在着单机数据库处理速度较低，分布式数据库容易在并行计算节点间达到网络数据传输速度的瓶颈，影响并行计算速度，降低任务处理效率的问题。

针对以上技术问题，第一方面，本发明实施例提供了一种基于众核处理器的数据并行处理方法，应用于单机数据库，包括：

每次确定待运算数据表后，对所述待运算数据表进行划分得到多个运算任务；其中，所述待运算数据表包括以下至少一种：数据库中的原始数据表、根据数据库中的原始数据表运算生成的键值对表；

将划分的运算任务分发至众核处理器的从核中，以通过不同从核并行处理运算任务。

第二方面，本发明实施例提供了一种基于众核处理器的数据并行处理装置，应用于单机数据库，包括：

任务划分单元，用于每次确定待运算数据表后，对所述待运算数据表进行划分得到多个运算任务；其中，所述待运算数据表包括以下至少一种：数据库中的原始数据表、根据数据库中的原始数据表处理生成的键值对表；

任务分发单元，用于将划分的运算任务分发至众核处理器的从核中，以通过不同从核并行处理运算任务。

本发明实施例提供了基于众核处理器的数据并行处理方法及装置，应用于单机数据库，每次确定待运算数据表后，对所述待运算数据表进行划分得到多个运算任务；将划分的运算任务分发至众核处理器的从核中，以通过不同从核并行处理运算任务。一方面，通过对待处理数据表进行排序划分，得到适合于进行并行处理的运算任务，并通过将运算任务分发至单机数据库的众核处理器中，实现了单机数据库处理大数据任务时的并行运算，充分发挥了众核处理器的运算能力；另一方面，在众核间实现了任务的并行处理，消除了并行计算节点间网络数据传输速度的瓶颈，加快了运算进程，提高了任务处理效率。

附图说明