[发明专利]分布式数据处理方法及系统

说明书

本申请公开了一种分布式数据处理方法及系统，属于数据处理技术领域。所述系统包括：数据采集服务器、多个数据采样服务器、数据汇总服务器和多个分类服务器；所述数据采集服务器，用于获取待分类的多个样本子集，并向所述多个数据采样服务器分发所述多个样本子集，所述多个样本子集由同一个样本集划分得到；所述数据采样服务器，用于对接收到的样本子集进行数据采样，并将采样后的样本子集发送至所述数据汇总服务器；所述数据汇总服务器，用于接收并汇总所述多个数据采样服务器发送的样本子集，并将汇总后的样本子集分发至所述多个分类服务器；所述分类服务器用于对接收到的样本子集中的样本进行分类。本发明有效地提高了对样本集进行采样的效率。

技术领域

本申请涉及数据处理技术领域，特别涉及一种分布式数据处理方法及系统。

背景技术

图谱是指由许多节点通过相互之间的连接而组成的一种数据结构。图谱中的节点可以用于指代人或组织，节点之间的连接(也称作边)通常表示节点所指代的事物之间具有某种关联关系。该关联关系可以为亲属关系或交易行为等社会关系。通过对图谱中的节点进行分类，能够实现对该节点指代的事物的关系挖掘。

相关技术中，可以采用数据处理系统对图谱中的节点进行分类。该数据处理系统包括：数据汇总服务器和多个分类服务器。该数据汇总服务器在获取用于表示图谱的邻接矩阵后，可以对该邻接矩阵进行采样，并将采样后的邻接矩阵分发至多个分类服务器，分类服务器根据接收到的邻接矩阵对图谱中的节点进行分类。

但是，图谱的数据量通常较大，导致数据汇总服务器对其邻接矩阵进行采样的效率较低。

发明内容

本发明实施例提供了一种分布式数据处理方法及系统，可以解决相关技术中对邻接矩阵进行采样的效率较低的问题。所述技术方案如下：

第一方面，提供了一种分布式数据处理系统，其特征在于，所述系统包括：数据采集服务器、多个数据采样服务器、数据汇总服务器和多个分类服务器；

所述数据采集服务器，用于获取待分类的多个样本子集，并向所述多个数据采样服务器分发所述多个样本子集，所述多个样本子集由同一个样本集划分得到；

所述数据采样服务器，用于对接收到的样本子集进行数据采样，并将采样后的样本子集发送至所述数据汇总服务器；

所述数据汇总服务器，用于接收并汇总所述多个数据采样服务器发送的样本子集，并将汇总后的样本子集分发至所述多个分类服务器；

所述分类服务器用于对接收到的样本子集中的样本进行分类。

第二方面，提供了一种分布式数据处理方法，其特征在于，所述方法应用于分布式数据处理系统，所述系统包括：数据采集服务器、多个数据采样服务器、数据汇总服务器和多个分类服务器，所述方法包括：

所述数据采集服务器获取待分类的多个样本子集，并向所述多个数据采样服务器分发所述多个样本子集，所述多个样本子集由同一个样本集划分得到；

所述数据采样服务器对接收到的样本子集进行数据采样，并将采样后的样本子集发送至所述数据汇总服务器；

所述数据汇总服务器接收并汇总所述多个数据采样服务器发送的样本子集，并将汇总后的样本子集分发至所述多个分类服务器；

所述分类服务器对接收到的样本子集中的样本进行分类。

可选地，所述样本子集包括所述邻接矩阵的至少一列元素，且所述多个样本子集分别包括不同列的元素。

可选地，所述分类服务器中设置有分类模型，所述分类模型用于对所述样本子集中的样本进行分类，所述样本子集中的样本为训练样本，所述方法还包括：参数服务器；

所述分类服务器基于所述分类模型对所述训练样本的分类结果，调整所述分类模型的模型参数，并向所述参数服务器发送调整后的模型参数；