[发明专利]分布式数据处理方法及系统

权利要求书

1.一种分布式数据处理系统，其特征在于，所述系统包括：数据采集服务器、多个数据采样服务器、数据汇总服务器和多个分类服务器；

所述数据采集服务器，用于获取待分类的多个样本子集，并向所述多个数据采样服务器分发所述多个样本子集，所述多个样本子集由同一个样本集划分得到，所述样本集为用于表示样本图谱的邻接矩阵；

所述数据采样服务器，用于对接收到的样本子集进行数据采样，并将采样后的样本子集发送至所述数据汇总服务器；

所述数据汇总服务器，用于接收并汇总所述多个数据采样服务器发送的样本子集，并将汇总后的样本子集分发至所述多个分类服务器；

所述分类服务器用于对接收到的样本子集中的样本进行分类。

2.根据权利要求1所述的系统，其特征在于，

所述数据采集服务器，具体用于获取待分类的样本集，将所述样本集划分为所述多个样本子集，并向所述多个数据采样服务器分发所述多个样本子集。

3.根据权利要求1所述的系统，其特征在于，所述系统还包括：与所述多个数据采样服务器对应的多个数据存储服务器；

所述数据采集服务器，具体用于获取待分类的样本集，将所述样本集划分为多个样本子集，并将所述多个样本子集分发至所述多个数据存储服务器；

所述数据存储服务器，用于存储接收到的样本子集，并将所述样本子集发送至对应的数据采样服务器。

4.根据权利要求2或3所述的系统，其特征在于，所述多个样本子集由按照列方向将所述邻接矩阵划分得到。

5.根据权利要求4所述的系统，其特征在于，所述样本子集包括所述邻接矩阵的至少一列元素，且所述多个样本子集分别包括不同列的元素。

6.根据权利要求1至3任一所述的系统，其特征在于，所述分类服务器中设置有分类模型，所述分类模型用于对所述样本子集中的样本进行分类，所述样本子集中的样本为训练样本，所述系统还包括：参数服务器；

所述分类服务器，还用于基于所述分类模型对所述训练样本的分类结果，调整所述分类模型的模型参数，并向所述参数服务器发送调整后的模型参数；

所述参数服务器，用于将所述多个分类服务器中其他分类服务器中分类模型的模型参数更新为所述调整后的模型参数。

7.一种分布式数据处理方法，其特征在于，所述方法应用于分布式数据处理系统，所述系统包括：数据采集服务器、多个数据采样服务器、数据汇总服务器和多个分类服务器，所述方法包括：

所述数据采集服务器获取待分类的多个样本子集，并向所述多个数据采样服务器分发所述多个样本子集，所述多个样本子集由同一个样本集划分得到，所述样本集为用于表示样本图谱的邻接矩阵；

所述数据采样服务器对接收到的样本子集进行数据采样，并将采样后的样本子集发送至所述数据汇总服务器；

所述数据汇总服务器接收并汇总所述多个数据采样服务器发送的样本子集，并将汇总后的样本子集分发至所述多个分类服务器；

所述分类服务器对接收到的样本子集中的样本进行分类。

8.根据权利要求7所述的方法，其特征在于，所述数据采集服务器获取待分类的多个样本子集，并向所述多个数据采样服务器分发所述多个样本子集，包括：

所述数据采集服务器，具体用于获取待分类的样本集，将所述样本集划分为所述多个样本子集，并向所述多个数据采样服务器分发所述多个样本子集。

9.根据权利要求7所述的方法，其特征在于，所述系统还包括：与所述多个数据采样服务器对应的多个数据存储服务器，所述数据采集服务器获取待分类的多个样本子集，并向所述多个数据采样服务器分发所述多个样本子集，包括：

所述数据采集服务器获取待分类的样本集，将所述样本集划分为多个样本子集，并将所述多个样本子集分发至所述多个数据存储服务器，使所述数据存储服务器将所述样本子集发送至对应的数据采样服务器；

所述数据存储服务器存储接收到的样本子集，并将所述样本子集发送至对应的数据采样服务器。