[发明专利]一种数据处理方法及装置

权利要求书

1.一种数据处理方法，其特征在于，包括：

获取训练样本集合，所述训练样本集合中包括多个图计算任务训练样本，每个图计算任务训练样本分别对应不同的性能指标特征；

提取所述图计算任务训练样本对应的性能指标特征，所述性能指标特征包括如下至少一种：图数据特征、图处理平台特征、图算法特征以及机器硬件特征；若所述性能指标特征为所述机器硬件特征，则所述性能指标特征包括所述图计算任务训练样本对应的机器硬件的核心处理性能、内存容量、网络带宽和设备集群数量；

基于所述图计算任务训练样本的实际运行时间与所对应的性能指标特征之间的映射关系，生成目标性能预测模型，所述目标性能预测模型用于根据输入的图计算任务测试样本对应的性能指标特征输出预测运行时间。

2.根据权利要求1所述的方法，其特征在于，所述提取所述图计算任务训练样本对应的性能指标特征，包括：

若所述性能指标特征为所述图数据特征，则提取所述图计算任务训练样本对应的图数据的顶点数和边数；

基于指数长度或者相同长度将所述图计算任务训练样本的度数区间划分为多个子区间，根据所述图计算任务训练样本对应的图数据中每个顶点的度数所属的子区间的度数范围，确定每个子区间包含的顶点个数，基于所述每个子区间包含的顶点个数确定所述图计算任务训练样本的度数分布；

将所述图计算任务训练样本对应的图数据的顶点数、边数和度数分布确定为所述图计算任务训练样本的性能指标特征。

3.根据权利要求1所述的方法，其特征在于，所述提取所述图计算任务训练样本对应的性能指标特征，包括：

若所述性能指标特征为所述图处理平台特征，则将所述图计算任务训练样本对应的图处理平台的图划分规则、内存池容量、通信缓冲区容量、消息分发策略、超步数和消息数确定为所述图计算任务训练样本对应的性能指标特征。

4.根据权利要求1所述的方法，其特征在于，所述提取所述图计算任务训练样本对应的性能指标特征，包括：

若所述性能指标特征为所述图算法特征，则将所述图计算任务训练样本对应的图算法的计算量、超步数、单条消息数据量和消息总数确定为所述图计算任务训练样本对应的性能指标特征。

5.根据权利要求1所述的方法，其特征在于，所述基于所述图计算任务训练样本的实际运行时间与所对应的性能指标特征之间的映射关系，生成目标性能预测模型，包括：

将所述图计算任务训练样本对应的性能指标特征进行归一化，得到待训练特征；

基于所述图计算任务训练样本的实际运行时间与所对应的待训练特征之间的映射关系，生成目标训练样本集合；

将所述目标训练样本集合输入到初始性能预测模型的输入层，并在所述初始性能预测模型的输出层得到所述图计算任务训练样本的训练预测时间；

基于所述图计算任务训练样本的实际运行时间与训练预测时间，修正所述初始性能预测模型的模型参数；

基于所述初始性能预测模型、修正后的模型参数以及所述图计算任务训练样本的实际运行时间与所对应的待训练特征之间的映射关系，生成所述目标性能预测模型。

6.根据权利要求5所述的方法，其特征在于，还包括：

获取测试样本集合；所述测试样本集合中包括多个图计算任务测试样本；

提取所述图计算任务测试样本对应的性能指标特征；所述性能指标特征包括图数据特征、图处理平台特征、图算法特征以及机器硬件特征；

将所述图计算任务测试样本的性能指标特征进行归一化，得到待测试特征；

基于所述目标性能预测模型、所述图计算任务测试样本对应的待测试特征，确定所述图计算任务测试样本的预测运行时间。