[发明专利]一种适用于核外图处理系统的异步IO执行方法及系统

说明书

本发明公开了一种适用于核外图处理系统的异步IO执行方法及系统，属于大数据领域的图计算与处理技术领域，也可以用于其他数据存放在磁盘的迭代计算系统。其中，方法的实现包括：在图计算执行过程中，线程将从任务队列中获取的任务发送给异步IO库，而后异步IO库依据任务所需数据的存储情况，异步地发出数据的读取请求并加入到请求队列，然后请求队列对异步产生的读取请求进行排序合并，在相关数据读取完毕时，异步IO库执行对应任务，从而在执行层提高磁盘的访问效率，加快任务的执行速度。本发明能应用于基于磁盘的迭代计算系统，加快算法的执行速度，实用性强。

技术领域

本发明属于大数据处理技术的图计算技术领域，更具体地，涉及一种适用于核外图处理系统的异步IO执行方法及系统。

背景技术

图数据模型用来表征不同实体间复杂的依赖关系，在现实生活中随处可见。在许多实际的应用当中，如社交网络分析、网页搜索、商品推荐等，都可以使用图数据模型来进行问题的建模和分析。然而，在大数据时代，这类问题的规模通常十分庞大并仍然在快速增长，使得图计算技术领域面临巨大的挑战。在此背景下，如何加快基于磁盘的大规模图数据中相关算法的求解成为了亟待解决的问题。

现有的大规模图处理方式主要包括：多节点的分布式平台和单节点的核外系统。多节点的分布式平台进行图计算的步骤是：划分图数据、给节点机发送图数据、节点机处理接收的图数据、处理结果的汇总。单节点的核外系统则是利用单个节点机的外部存储来存放大规模的图数据，然后依次载入部分图数据到内存中进行处理。

分布式图处理平台随着问题规模的扩大有很好的扩展性，但是系统处理效率难以提高。首先，图的划分，在提高系统性能的同时保证节点间负载均衡，是一个多项式复杂程度的非确定性NP-hard问题。其次，节点间协同工作和容错需求，制约了系统的性能。最后，环境搭建和程序编写比较复杂，而且程序的调优和优化相对困难。

近几年，单机核外图处理系统有了许多新的成果——GraphChi、X-Stream、TurboGraph、MMap、VENUS、GridGraph。这些成果极大地降低了大图计算的开销，同时能够达到甚至超过部分分布式图处理平台的处理时延。由此证明的单机核外图处理系统处理大规模图数据的可行性，使得加快单机核外图处理系统中相关算法的求解拥有广泛的需求。

由于不同的算法有不同的访问存储特点，现有的单机核外图处理系统对于不同的算法并不一定都有最优的性能。对于GraphChi、X-Stream和GridGraph的执行模型，PageRank算法能够最大化利用磁盘带宽，因为每次迭代都需要遍历所有的图数据，而对于BFS算法，则浪费了磁盘带宽，因为每次迭代中不是所有顶点都需要参与计算，部分读取的数据无用。然而，对于MMap，PageRank算法带来的随机性访问限制了算法性能，而对于BFS算法，随机性访问减少了无用数据的读取，加速了算法的执行。

发明内容

针对现有技术的以上缺陷或改进需求，本发明提供了一种适用于核外图处理系统的异步IO执行方法及系统，由此解决现有基于磁盘的大规模图数据中相关算法求解效率较低的技术问题。

为实现上述目的，按照本发明的一个方面，提供了一种适用于核外图处理系统的异步IO执行方法，包括：

(1)判断系统的任务队列是否为空，如果是，则执行步骤(8)，否则执行步骤(2)；

(2)获取所述系统的任务队列中的目标任务，并判断所述目标任务所需数据是否都能直接访问，如果是，则执行步骤(7)，否则执行步骤(3)；

(3)对所述目标任务所需的不能直接访问的数据生成读取请求，将所述读取请求加入异步IO库的请求队列，并将所述目标任务加入所述异步IO库的任务队列；

(4)判断所述异步IO库的请求队列中的读取请求数是否大于预设阈值，如果是，则执行步骤(5)，否则执行步骤(1)；