[发明专利]基于后决策状态学习的基站关断节能方法和装置

说明书

本发明涉及基于后决策状态学习的基站关断节能方法及装置，包括以下步骤：步骤S1:将宏微网络中的用户根据关联规则进行分类，并将各类用户的数目定义为网络状态，将各个基站的开/关操作定义为网络行动；步骤S2:将时延受限的节能问题映射为CMDP模型，刻画网络中各类业务的动态变化情况；步骤S3:计算出基站在每个时间周期内的决策前状态和后决策状态，并根据关断策略执行前已知的决策前状态学习关断策略执行后未知的后决策状态；步骤S4:在每个时间周期内，对值函数和后决策状态值函数进行迭代更新；首先使用后决策状态值函数更新值函数；然后使用更新后的值函数更新后决策状态值函数；反复更新直至满足预设条件，得到最优的基站关断节能策略。

技术领域

本发明属于移动通信技术领域，具体涉及一种基于后决策状态学习的基站关断节能方法和装置。

背景技术

随着无线蜂窝网络中用户数目的不断增加及其所需数据速率的不断提高，蜂窝网络的规模也在逐渐扩大，巨大的网络规模和较多的无线设备造成了巨大的能量消耗，这给环境和经济带来了严重的影响。为了提高蜂窝网络的环境效益和经济效益，节能减排已经成为当前通信网络的重要设计目标。为了在满足蜂窝网络中日益增加的用户需求的同时减少网络的能量消耗，无线宏微网络已经成为当前的热门研究方向之一。在宏基站覆盖范围内密集部署高容量、低功耗的小基站成为目前在满足用户所需服务质量(quality ofservice,QoS)的同时降低能源消耗的主要方式。

宏微网络中的小基站一般是按照巅峰时期网络的业务水平进行部署的，而不考虑网络业务随着时间动态变化的情况。调查结果表明，每天有超过40％的时间里网络业务量不到巅峰时期业务量的10％，若在网络负载较低时依然开启所有基站，会明显造成网络带宽资源和能量资源的浪费。因基站的能量消耗在整个网络能耗中占60～80％，当网络中的负载水平较低时，关闭利用率较低的小基站可在很大程度上减少网络的能源消耗。

发明内容

有鉴于此，本发明的目的在于提供一种基于后决策状态学习的基站关断节能方法及装置，充分利用网络已知的先验知识加快学习速度，在保证网络服务质量的同时得到最优的基站关断节能策略。

为实现上述目的，本发明采用如下技术方案：

一种基于后决策状态学习的基站关断节能方法，包括以下步骤：

步骤S1:将宏微网络中的用户根据关联规则进行分类，并将各类用户的数目定义为网络状态，将各个基站的开/关操作定义为网络行动；

步骤S2:将时延受限的节能问题映射为CMDP模型，刻画网络中各类业务的动态变化情况；

步骤S3:计算出基站在每个时间周期内的决策前状态和后决策状态，并根据关断策略执行前已知的决策前状态学习关断策略执行后未知的后决策状态；

步骤S4:在每个时间周期内，对值函数和后决策状态值函数进行迭代更新；首先使用后决策状态值函数更新值函数；然后使用更新后的值函数更新后决策状态值函数；反复更新直至满足预设条件，得到最优的基站关断节能策略。

进一步的，所述根据关联规则进行分类具体为：

步骤S11:将宏微网络覆盖区域内的每个基站编号为 k＝0,1,...,K，其中0表示宏基站；

步骤S12:把网络中的用户根据关联基站的不同进行分类，

步骤S13:将接入宏基站的用户定义为第0类用户；将接入小基站 k(k＝1,2,...,K)的用户定义为第k类用户；当小基站k处于关闭状态时，小基站的用户会接入宏基站接受服务，此时第k类用户变为第0 类用户。

进一步的，所述步骤S2具体为：