[发明专利]一种分布式数据传输优化方法、系统及相关设备

权利要求书

1.一种分布式数据传输优化方法，其特征在于，包括：

获取多条训练数据及数据传输策略的超参数空间，每一条所述训练数据包含集群配置的一种数据传输策略及在执行对应的数据传输策略过程中所述集群在单位时间内的网络吞吐量参数，其中，每个初始策略包含一组预设参数字段以及各个预设参数字段的字段值；

将所述多条训练数据及数据传输策略的超参数空间代入贝叶斯优化算法模型，计算得到当前训练数据下的最优数据传输策略；

所述获取多条训练数据包括：

随机选定所述超参数空间中的每个参数的初始值，组成多种数据传输策略；

在集群中分别配置所述多种数据传输策略，并分别采集执行所述多种数据传输策略执行过程中所述集群在单位时间内的网络吞吐量参数；

所述将所述多条训练数据及数据传输策略的超参数空间代入贝叶斯优化算法模型，计算得到当前训练数据下的最优数据传输策略，包括：

采用高斯过程对所述多条训练数据进行拟合，得到数据传输策略与网络吞吐量参数之间的函数作为输出函数；

设置获取函数并根据所述输出函数在所述数据传输策略的超参数空间中搜索得到最优数据传输策略，以使得所述获取函数最大化。

2.根据权利要求1所述的方法，其特征在于，还包括：

采集所述集群在执行所述最优数据传输策略时单位时间内的网络吞吐量参数记作参数A；

判断所述参数A是否满足预设条件，若不满足，则将所述最优数据传输策略及所述参数A作为所述多条训练数据中的一条训练数据代入贝叶斯优化算法模型，以重新确定最优数据传输策略。

3.根据权利要求2所述的方法，其特征在于，在将所述最优数据传输策略及所述参数A作为所述多条训练数据中的一条训练数据代入贝叶斯优化算法模型之前，所述方法还包括：

判断所述最优数据传输策略与所述多条训练数据是否存在重复数据，若存在重复数据，则去除重复数据。

4.根据权利要求1至3中任一项所述的方法，其特征在于，所述集群在单位时间内的网络吞吐量参数的计算过程包括：

计算n个节点在时间t内的网络吞吐量均值avgx_i，累加所有节点的网络吞吐量均值∑_i(avgx_i)，i为1至n之间的正整数；

计算所述集群在单位时间内的网络吞吐量参数为(∑_i(avgx_i))/(n*t)。

5.根据权利要求1至3中任一项所述的方法，其特征在于，所述数据传输策略的超参数空间包括：

聚合通信操作参数、拓扑连接参数、数据片参数、域内通信分组参数和/或域间通信分组参数。

6.一种分布式数据传输优化系统，其特征在于，包括：

获取模块，获取多条训练数据及数据传输策略的超参数空间，每一条所述训练数据包含集群配置的一种数据传输策略及在执行对应的数据传输策略过程中所述集群在单位时间内的网络吞吐量参数，其中，每个初始策略包含一组预设参数字段以及各个预设参数字段的字段值；

第一计算模块，用于将所述多条训练数据及数据传输策略的超参数空间代入贝叶斯优化算法模型，计算得到当前训练数据下的最优数据传输策略；

获取模块包括：

随机单元，随机选定超参数空间中的每个参数的初始值，组成多种数据传输策略；

采集单元，在集群中分别配置多种数据传输策略，并分别采集执行多种数据传输策略执行过程中集群在单位时间内的网络吞吐量参数；

第一计算模块包括：

拟合单元，采用高斯过程对多条训练数据进行拟合，得到数据传输策略与网络吞吐量参数之间的函数作为输出函数；

搜索单元，设置获取函数并根据输出函数在数据传输策略的超参数空间中搜索得到最优数据传输策略，以使得获取函数最大化。

7.一种计算机装置，其特征在于，所述计算机装置包括处理器，所述处理器用于执行存储器中存储的计算机程序时实现如权利要求1至5中任意一项所述方法的步骤。

8.一种计算机可读存储介质，其上存储有计算机程序，其特征在于：所述计算机程序被处理器执行时实现如权利要求1至5中任意一项所述方法的步骤。