[发明专利]基于连通分量生成优化的超级计算机基准测试加速方法

说明书

本发明公开了一种基于连通分量生成优化的超级计算机基准测试加速方法，目的是最小化通信路径、最大化访存带宽利用率，对超级计算机大数据基准测试进行加速；技术方案是利用Graph500生成的图中包含多个连通分量的特点，在图中快速找到连通分量，采用二维向量存贮连通分量，并对连通分量中顶点的父子关系进行路径压缩且对根顶点不同的两个连通分量进行合并，把同一个连通分量的顶点划分到超级计算机中通信路径较短的物理节点上，使得图遍历访问时通信开销小，运算速度快。采用本发明可以有效快速地存储图中所有连通分量，最大限度提高合并速度，加快根顶点的查询速度，减小内存中栈的占用开销，提高超级计算机大数据处理能力测试速度。

技术领域

本发明涉及超级计算机大数据基准测试加速方法，尤指一种基于二维向量和路径压缩的连通分量生成优化进行基准测试加速的方法。

背景技术

图作为一种常见的数据结构，可以用来抽象表达现实事物间各种复杂的关联关系。例如，社交网络、万维网等都可以采用图表示。图计算是针对图数据进行处理和计算，在现实生活中诸多场景都发挥着重要作用。近年来，图数据的规模不断增长，根据相关报告显示，2020年第三季度，Facebook每日活跃用户为18.2亿，腾讯微信及WeChat月活跃用户达到12.1亿，把用户和其之间的关系抽象为图中的点和边，那么图中点的规模达到了数十亿，边的规模更是达到了数千亿。这导致在数据存储和计算力方面具有更高的需求。超级计算机主要用于数值计算，在数据密集型应用广泛兴起的大数据时代，Graph500是测试超级计算机计算力(即超级计算机对数据的处理能力)的重要基准测试程序。Graph500以每秒遍历图中边的数量TEPS(Traversed Edge Per Second)来衡量超级计算机的大数据处理能力。

Graph500基准测试程序由图生成、图建立、BFS搜索与验证、结果输出四步组成，如图1所示。

(1)图生成：通过Kronecker图生成器生成随机图结构G＝(V，E)，V为顶点集合，E为边集合，图的规模由用户输入的参数scale、edgefactor确定，其中，scale指示图的顶点规模，edgefactor指示每个顶点连接边的平均数量，N＝2^scale表示输入图的顶点数目即V的元素数量，M＝edgefactor*N表示输入图的边数目即E的元素数量。通常使用v_i表示图中编号为i的顶点，使用顶点对(v_i，v_j)表示顶点i到顶点j的边。(v_i，v_j)∈E，0≤i≤N-1，0≤j≤N-1，N＝2^scale为V中顶点个数。

(2)图建立：将第一步生成的顶点和边信息转化成任意表示图的数据结构，标准Graph500中采用图的邻接矩阵来存储图信息。

(3)BFS(Breadth-First Search宽度优先搜索)搜索与验证：随机生成一个根项点，并以此为源点对整个图进行BFS搜索，输出生成树作为搜索结果，记录Graph500有效计时时间t，并验证搜索得到的BFS生成树是否与原图信息匹配。该过程将循环64次，且分别对每次BFS搜索部分计时。

(4)结果输出：Graph500用每秒遍历的边数TEPS来衡量程序的执行性能，TEPS＝生成图的边数M除以BFS搜索时间t，即，64次循环遍历分别计算TEPS＝M/t，然后取64个TEPS的平均值作为Graph500最终测试和排名的依据。