[发明专利]一种数据处理系统及方法

权利要求书

1.一种数据处理系统，其特征在于，所述系统包括：一个主节点，多个从节点，其中，所述主节点包括两个CPU和一个GPU；

所述从节点包括两个CPU和两个GPU；

所述主节点及所述各从节点采用CPU和GPU异构架构的混合集群系统模式；

所述主节点用于分批读取待处理的数据；还用于每次读取后将待处理的数据分发到各从节点，根据各所述从节点返回的权重更新网络，将所述更新后的网络信息参数发送给各所述从节点后，读取下一批待处理的数据；

所述从节点用于对接收的所述主节点分发的数据进行前向后向计算后得出权重，返回给所述主节点。

2.如权利要求1所述的系统，其特征在于，所述系统还包括并行分布式Lustre存储：

所述主节点用于分批读取待处理的数据具体是指：

所述主节点从所述Lustre存储中并行读取数据。

3.如权利要求2所述的系统，其特征在于：

所述Lustre存储支持多进行或多线程并行读写。

4.如权利要求3所述的系统，其特征在于：

所述主节点与所述各从节点之间采用远程直接数据存取RDMA方式接收/发送数据。

5.如权利要求1至4任一所述的系统，其特征在于：

所述从节点配置1块IB网卡，所述主节点和所述各从节点之间通过IB网络互连；

所述主节点及所述各节点内CPU与GPU之间通过PCIE 3.0标准。

6.如权利要求1至4任一所述的系统，其特征在于：

所述从节点的个数不大于8。

7.一种数据处理的方法，应用于如权利要求1至6任一所述的系统中，其特征在于，所述方法包括：

步骤S1、所述主节点读取待处理的数据分发到各从节点；

步骤S2、所述主节点接收所述各从节点返回的权重；

步骤S3、所述主节点根据所述各从节点返回的权重更新网络，并将所述更新后的网络信息参数发送给所述各从节点；

步骤S4、主节点发送更新后的网络后，检查是否还存在待处理的数据，如果存在，则返回S1；

所述系统包括：一个主节点，多个从节点，其中，所述主节点包括两个CPU和一个GPU；

所述从节点包括两个CPU和两个GPU；

所述主节点及所述各从节点采用CPU和GPU异构架构的混合集群系统模式。

8.如权利要求7所述的方法，其特征在于：

所述步骤S1后，步骤S2前，所述方法还包括：

步骤S11、所述各从节点的GPU根据所述网络信息参数对接收的所述主节点分发的数据进行前向后向计算后得出权重；

所述S2包括：

所述主节点的GPU接收所述各从节点发送的权重。

9.如权利要求7至8任一所述的方法，其特征在于：

所述步骤S1前，所述方法还包括：

步骤S0、所述主节点从并行分布式Lustre存储中并行读取数据。