[发明专利]一种基于深度增强学习的数据中心网络传输方法

权利要求书

1.一种基于深度增强学习的数据中心网络传输方法，其特征在于，所述方法基于失序偏移的低时延数据传输协议Sue，包括以下几个部分：

A：Sue协议基于Req发送请求全局唯一标识的数据包，Req的请求能够同时发送多个数据包请求，再由多个发送端进行发送；

B：每个发送端包括发送高优先级数据和发送低优先级数据的两部分，高优先级数据需ACK确认机制，而低优先级数据不需要ACK对接收数据进行确认；同一服务器里的多个发送端自适应的调整并发数据量的数量；

C：客户端第一次接收数据后保存数据失序偏移并进行判断，在服务器端进行高优先级数据发送及重传控制，低优先级数据队列只进行低优先级数据发送，不进行数据重传；

D：在数据中心应用程序中，服务器拥有大量客户端，保留在服务器上的状态，由请求的数量及发送端判断的网络状态决定；

B部分中所述多个发送端自适应的调整并发数据量的数量具体为：

基于深度增强学习制定报文大小调整策略，快速收敛到各类数据流的最佳发送报文大小；

深度增强学习是根据策略进行选择的动作，定义系统策略为：

π(s,a):S×A→[0,1]

式中，→前后表示状态-动作对应的概率映射；S是状态空间；A是动作空间；π(s,a)表示在状态s中可能选择动作a的概率；[0,1]表示策略分布区间；

采用策略函数进行逼近，以使增强学习拥有泛化能力，利用有限的学习经验、记忆完成大范围空间有效知识的获取与表示；策略梯度算法为直接逼近的优化策略，其期望值表达式为：

式中，γ^t是t时刻的折扣因子；r_t表示奖励函数；表示优化的预期回报值；Q^πθ(s,a)表示根据策略π_θ在状态s时选择动作a所获得的累积折扣奖励；θ表示观察值；t表示时刻；

部分C中所述数据失序偏移的策略如下：

当接收端数据收到发生失序的数据包时，接收端监控数据是否是重传数据，记录所有失序的偏移量，利用K-means聚类算法进行多因素聚类，将n个对象间的相似聚类到指定的k个类中：

其中，X_i是数据样本,即类簇中的第i个对象，C_j表示每个聚类的中心；每个对象都具有m个维度的属性，X_in表示数据样本X_i第n个维度的属性，C_jn表示聚类中心C_j第n个维度的属性；

K-means算法用中心定义了类簇的原型，类簇中心就是类簇内所有对象在各个维度的均值，其计算公式如下：

其中，S_l为第l个类簇中对象的集合，|S_l|表示第l个类簇中对象的个数，X_i表示第l个类簇中第i个对象；

对于被判定为拥塞的数据包，当拥塞程度超过一定阈值时，接收方返回ACK，发送端采用低优先级重传数据方案，当拥塞程度小于阈值时，则不需要重传数据，接收端不返回ACK；判定为丢包的数据，发送端采用高优先级数据传输方案。