[发明专利]一种数据处理系统及方法

说明书

本发明提供一种数据处理系统，所述系统包括：一个主节点，多个从节点；所述主节点用于分批读取待处理的数据；还用于每次读取后将待处理的数据分发到各从节点，根据各所述从节点返回的权重更新网络，将所述更新后的网络信息参数发送给各所述从节点后，读取下一批待处理的数据；所述从节点用于对接收的所述主节点分发的数据进行前向后向计算后得出权重，返回给所述主节点。上述方案采用主从计算模式，从而加速深度学习应用处理时间，提升计算效率。

技术领域

本发明涉及计算机领域，具体涉及数据处理方法及系统。

背景技术

2006年，加拿大多伦多大学教授、机器学习领域泰斗——Geoffrey Hinton和他的学生Ruslan Salakhutdinov在顶尖学术刊物《科学》上发表了一篇文章，开启了深度学习在学术界和工业界的浪潮。自2006年以来，深度学习在学术界持续升温。斯坦福大学、纽约大学、加拿大蒙特利尔大学等成为研究深度学习的重镇。2010年，美国国防部DARPA计划首次资助深度学习项目，参与方有斯坦福大学、纽约大学和NEC美国研究院。支持深度学习的一个重要依据，就是脑神经系统的确具有丰富的层次结构。一个最著名的例子就是Hubel-Wiesel模型，由于揭示了视觉神经的机理而曾获得诺贝尔医学与生理学奖。除了仿生学的角度，目前深度学习的理论研究还基本处于起步阶段，但在应用领域已显现出巨大能量。2011年以来，微软研究院和Google的语音识别研究人员先后采用DNN技术降低语音识别错误率20％～30％，是语音识别领域十多年来最大的突破性进展。2012年，DNN技术在图像识别领域取得惊人的效果，在ImageNet评测上将错误率从26％降低到15％。在这一年，DNN还被应用于制药公司的Druge Activity预测问题，并获得世界最好成绩，这一重要成果被《纽约时报》报道。

如今Google、微软、百度等知名的拥有大数据的高科技公司争相投入资源，占领深度学习的技术制高点，正是因为它们都看到了在大数据时代，更加复杂且更加强大的深度模型能深刻揭示海量数据里所承载的复杂而丰富的信息，并对未来或未知事件做更精准的预测。

目前深度学习应用包括语音识别、图像识别、自然语言处理、搜索广告CTR预估等，这些应用的计算量十分巨大，其需要大规模计算，采用GPU高性能计算将进一步提升应用处理效率，基于GPU来设计深度学习系统是一个不错的选择。

发明内容：

本发明提供一种数据处理系统及方法，提高了计算效率。

为解决上述技术问题，本发明提供一种数据处理系统，所述系统包括：一个主节点，多个从节点；

所述主节点用于分批读取待处理的数据；还用于每次读取后将待处理的数据分发到各从节点，根据各所述从节点返回的权重更新网络，将所述更新后的网络信息参数发送给各所述从节点后，读取下一批待处理的数据；

所述从节点用于对接收的所述主节点分发的数据进行前向后向计算后得出权重，返回给所述主节点。

优选地，

所述主节点包括两个CPU和一个GPU；

所述从节点包括两个CPU和两个GPU；

所述主节点及所述各从节点采用CPU和GPU异构架构的混合集群系统模式。

优选地，

所述系统还包括并行分布式Lustre存储：

所述主节点用于分批读取待处理的数据具体是指：

所述主节点从所述Lustre存储中并行读取数据。

优选地，

所述Lustre存储支持多进行或多线程并行读写。

优选地，