[发明专利]基于层树网络的大规模并行程序性能数据快速收集方法

说明书

本发明公开一种基于层树网络的大规模并行程序性能数据快速收集方法，包括以下步骤：S1、依据计算节点启动的进程最多能使用的端口号数目限制M，确定子收集节点所需负责的子节点数目m；S2、根据S1中获得m值，将所需采集性能数据的总进程数N划分为一个各个树层并行度相当的拓扑网络；S3、分析各个树层的数据传输效率比1:η₁,η₂,...,η_h‑1，其中h为树的深度；S4、根据S3中各个树层的数据传输效率比，实现对拓扑网络的优化；S5、通过socket建立层树收集网络，实现对性能数据的收集。本发明针对异构众核结构特征，结合异构众核处理器的特点，将部分收集进程下沉至计算节点上，并且结合各树层的数据传输效率对树型收集网络进行拓扑优化，能够实现大规模并行程序性能数据的快速收集。

技术领域

本发明涉及一种基于层树网络的大规模并行程序性能数据快速收集方法，属于计算机技术领域。

背景技术

为获取更高的计算能力，高性能计算平台的并行规模正在日益增大，当前拥有数千万计算核心的超级计算机系统已经开始服务于科研应用，在这样的平台上进行大规模应用运行时性能监测分析，期间产生的大量分布式性能数据的快速处理收集面临挑战。

现有的性能数据收集方法可分为两种，一种是基于进线程的收集方法，生成每个进程或线程各自的性能数据文件，交由客户端负责后续处理；另一种是基于程序的收集方法，整个程序的性能数据归纳后形成一个文件。这两种方法中均需要将大量分散的性能数据汇总到一个进程中，相比于一个进程负责收集所有进程的主从架构，基于树型网络的架构能够获得更高的并行收集效率。

程序运行时性能监测需要能够快速收集其性能数据，在小规模时，收集进程通过与每个数据采集进程建立socket连接即可完成收集，但规模较大时，由于每个进程能够建立、管理的socket连接是有限的并且管理过多的采集进程会使其本身成为瓶颈。

现阶段主要采用树型网络来解决上述问题，叶子节点是采集节点，根节点管理若干子收集节点，子收集节点管理若干子收集节点或采集节点。在需要采集的数据比较多的情况下，收集节点往往需要部署在专门的服务器上，而单个节点上收集的性能数据量较少，若采用上述方案，则将造成一定程度的资源浪费，且会影响传输效率。

因此，在高性能计算平台下，如何快速高效收集大量分散性能数据的问题，成为本领域技术人员努力的方向。

发明内容

本发明的目的是提供一种基于层树网络的大规模并行程序性能数据快速收集方法，该基于层树网络的大规模并行程序性能数据快速收集方法针对异构众核结构特征，结合异构众核处理器的特点，将部分收集进程下沉至计算节点上，并且结合各树层的数据传输效率对树型收集网络进行拓扑优化，能够实现大规模并行程序性能数据的快速收集。

为达到上述目的，本发明采用的技术方案是：一种基于层树网络的大规模并行程序性能数据快速收集方法，基于以下配置：

若干采集节点，用于采集性能数据；

若干子收集节点，用于管理采集节点或者用于管理子收集节点，还用于对采集的性能数据的筛选、汇集和处理；

根节点，用于管理子收集节点，还用于对采集的性能数据的汇集和处理；

所述根节点设置于服务节点上，部分或全部的所述子收集节点设置于计算节点的主核上，所述采集节点设置于计算节点的主核上，所述根节点、子收集节点与采集节点层叠形成树型网络；

包括以下步骤：

S1、依据计算节点启动的进程最多能使用的端口号数目限制M，确定子收集节点所需负责的子节点数目m，使得m在满足小于M的前提下尽量大，同时又不至于子收集节点本身成为瓶颈，即子收集节点对收集自其所有子节点的数据可以实现及时处理；