[发明专利]一种数据处理方法及装置

说明书

本发明实施例公开了一种数据处理方法及装置，该方法包括：获取训练样本集合；训练样本集合中包括多个图计算任务训练样本；每个图计算任务训练样本分别对应不同的性能指标特征；提取图计算任务训练样本对应的性能指标特征；基于图计算任务训练样本的实际运行时间与所对应的性能指标特征之间的映射关系，生成目标性能预测模型；目标性能预测模型用于根据输入的图计算任务测试样本对应的性能指标特征输出预测运行时间。采用本发明实施例，可根据图计算任务具备的特征预测图计算任务的运行时间，丰富图计算任务的性能预测类型。

技术领域

本发明涉及数据处理的技术领域，尤其涉及一种数据处理方法及装置。

背景技术

图(Graph)在现实应用中无处不在，且图能够有效地表达图顶点所关联的数据之间的关联性，比如社交媒体网络中不同账号之间的关联性、电商平台中商品与客户之间的关联性、万维网的网页信息之间的关联性等。但是，图往往对应有大量的顶点与大量的边，并且边与顶点又会关联大量的元数据，比如用户的性别、年龄、地理位置等。因此，对关联数据繁多的图计算的性能预测提出了更高的要求。

相关技术中，在对一个图计算任务进行性能评估时，通常需要技术人员对图计算任务对应的图结构以及执行环境进行分析，基于分析结果达到对图计算任务的性能评估，但是，仅仅通过人为分析去评估图计算任务的性能，得到的性能评估结果并不准确和全面。

发明内容

本发明实施例提供了一种数据处理方法及装置，可以提高对图计算任务进行性能评估的准确性，同时丰富对图计算任务的性能评估类型。

本发明实施例一方面提供了一种数据处理方法，包括：

获取训练样本集合；所述训练样本集合中包括多个图计算任务训练样本；每个图计算任务训练样本分别对应不同的性能指标特征；

提取所述图计算任务训练样本对应的性能指标特征，所述性能指标特征包括如下至少一种：图数据特征、图处理平台特征、图算法特征以及机器硬件特征；

基于所述图计算任务训练样本的实际运行时间与所对应的性能指标特征之间的映射关系，生成目标性能预测模型；所述目标性能预测模型用于根据输入的图计算任务测试样本对应的性能指标特征输出预测运行时间。

其中，所述性能指标特征为所述图数据特征，所述提取所述图计算任务训练样本对应的性能指标特征，包括：

提取所述图计算任务训练样本对应的图数据的顶点数、边数；

基于指数长度或者相同长度将所述图计算任务训练样本的度数区间划分为多个子区间，根据所述图计算任务训练样本对应的图数据中每个顶点的度数所属的子区间的度数范围，确定每个子区间包含的顶点个数，基于所述每个子区间包含的顶点个数确定所述图计算任务训练样本的度数分布；

将所述图计算任务训练样本对应的图数据的顶点数、边数、度数分布确定为所述图计算任务训练样本的性能指标特征。

其中，所述性能指标特征为所述图处理平台特征，所述提取所述图计算任务训练样本对应的性能指标特征，包括：

将所述图计算任务训练样本对应的图处理平台的图划分规则、内存池容量、通信缓冲区容量、消息分发策略、超步数、消息数确定为所述图计算任务训练样本对应的性能指标特征。

其中，所述性能指标特征为所述图算法特征，所述提取所述图计算任务训练样本对应的性能指标特征，包括：

将所述图计算任务训练样本对应的图算法的计算量、超步数、单条消息数据量、消息总数确定为所述图计算任务训练样本对应的性能指标特征。

其中，所述性能指标特征为所述机器硬件特征，所述提取所述图计算任务训练样本对应的性能指标特征，包括：