[发明专利]数据处理方法及系统

说明书

本申请实施例提供了数据处理方法及系统，基于CPU的分布式大数据处理框架集群包括多个预处理进程，每个预处理进程分别对自身对应的缓存分区中的样本数据进行处理，当任一缓存分区的样本数据处理完成后，将针对该一缓存分区预处理得到的数据发送给基于GPU的深度学习框架集群，深度学习框架集群在接收到分区预处理数据后即时对深度学习模型进行训练。每完成针对单个缓存分区预处理便进行数据传输，减少了大数据处理框架集群因将分布在各个预处理进程中的数据统一收集而造成的性能耗时，同时先预处理完成的分区预处理数据可以先传输给深度学习框架集群进行训练，能够增加深度学习模型的训练效率。

技术领域

本申请涉及计算机技术领域，特别是涉及数据处理方法及系统。

背景技术

当前，大数据应用方兴未艾，涌现出了以Hadoop、Spark、Flink等为代表的开大数据处理框架，大体上它们致力于解决大数据量的存储、批量计算、传统机器学习、图计算等方面的问题。另一方面，以深度学习为代表的人工智能技术在图像、视频、语音、文本方面大显身手，涌现出了以TensorFlow和PyTorch等为代表的深度学习框架。

事实上，结构化数据的存储与计算普遍在以Hadoop/Spark为代表的大数据处理框架中完成，这些大数据处理框架与以TensoFlow/PyTorch为代表的深度学习框架，在数据融合上天然存在割裂，这是大数据与深度学习两个社区都面临的问题。

以Hadoop/Spark为代表的大数据处理框架具备大数据处理能力，可是还不具有深度学习的能力。而TensorFlow/PyTorch等深度学习框架只具有深度学习能力，对大数据的预处理能力弱。由于两类框架各自的优势与局限，在大数据智能领域中，如图1所示，搭建两套环境，一套在CPU环境中搭建大数据处理框架集群，另一套在GPU(Graphics ProcessingUnit，图形处理器)环境搭建深度学习框架集群。具体运行时，使用大数据处理框架集群完成所有样本数据的预处理，并将得到的全部预处理数据写入磁盘。然后将大数据处理框架集群磁盘中的全部预处理数据拷贝到深度学习框架集群的磁盘中。深度学习框架集群从本地环境磁盘读取数据，然后进行深度学习模型训练。将训练所得深度学习模型迁移到大数据处理框架集群，基于该深度学习模型完成后续的环节。

而然，发明人在研究中发现，采用上述方法虽然利用了大数据处理框架与深度学习框架各自的优点，但是仅是将两个框架做了简单的“相加”，深度学习模型的训练效率依旧较低。

发明内容

本申请实施例的目的在于提供一种数据处理方法及系统，以实现增加深度学习模型的训练效率。具体技术方案如下：

第一方面，本申请实施例提供了一种数据处理方法，所述方法包括：

基于CPU的分布式大数据处理框架集群为自身的各预处理进程分配待处理的样本数据，其中，针对每一预处理进程，该预处理进程分配的待处理的样本数据存储在该预处理进程对应的缓存分区上；

针对每一预处理进程，所述基于CPU的分布式大数据处理框架集群利用该预处理进程对其对应的缓存分区中的样本数据进行预处理；

当任一预处理进程完成自身对应的一缓存分区中的样本数据的预处理时，所述基于CPU的分布式大数据处理框架集群将针对该一缓存分区预处理得到的数据转化为预设格式得到分区预处理数据，并向基于GPU的深度学习框架集群发送所述分区预处理数据；

所述基于GPU的深度学习框架集群在接收到所述分区预处理数据后，基于所述分区预处理数据对预设深度学习模型进行训练。

在一种可能的实施方式中，所述当任一预处理进程完成自身对应的一缓存分区中的样本数据的预处理时，所述基于CPU的分布式大数据处理框架集群将针对该一缓存分区预处理得到的数据转化为预设格式得到分区预处理数据，并向基于GPU的深度学习框架集群发送所述分区预处理数据，包括：