[发明专利]一种小小区动态时分双工结合Q学习的上下行子帧的配置方法

说明书

本发明公开了一种小小区动态时分双工结合Q学习的上下行子帧的配置方法，其特征是，包括如下步骤：1）构建动态时分双工小小区系统模型；2）定义系统模型的状态转移函数P和回报函数R；3）设置上下行子帧重配置周期；4）配置单位周期内小小区上下行子帧；5）构造系统模型目标函数；6）优化目标函数。这种方法能使小小区频谱高效地用在智能终端、能提高小小区频谱效率和能量效率。

技术领域

本发明涉及无线通信技术领域，具体是一种小小区动态时分双工结合Q学习的上下行子帧的配置方法。

背景技术

小小区网络技术被认为是一种解决当前移动数据流量爆炸式增长的通信技术手段之一，也是移动通信技术演进及下一代移动通信网络的关键技术之一。但由于小小区网络所服务的移动终端较少，移动终端在小区间的切换较为频繁，导致了小小区网络中数据业务的变化难以计算，上下行业务量很难维持在一个相对比较稳定的比例，因此，传统宏蜂窝小区里的半静态子帧重配置将无法使用，不能满足不同移动终端的业务量需求，造成频谱资源的巨大浪费。如何使小小区网络能够及时有效地调整其子帧配置成为当前急需解决的问题。动态时分双工技术为克服这一问题提供了很好的方向，动态时分双工作为当前热门的移动通信技术，其特点为不需要成对的频率、能使用各种频率资源、适用于不对称的上下行数据传输速率，能明显的表现出频谱资源丰富的优势。

发明内容

本发明的目的是针对现有技术的不足，而提供一种小小区动态时分双工结合Q学习的上下行子帧的配置方法。这种方法能使小小区频谱高效地用在智能终端、能提高小小区频谱效率和能量效率。

实现本发明目的的技术方案是：

一种小小区动态时分双工结合Q学习的上下行子帧的配置方法，包括如下步骤：

1)构建动态时分双工小小区系统模型：定义系统模型中，宏蜂窝网络和小小区网络使用不同的频谱，将动态时分双工技术运用在小小区网络中，在这种系统模型场景中，宏蜂窝网络和宏蜂窝网络所连接的移动终端对小小区网络以及小小区网络所连接的移动终端的影响可以忽略不计，为实际应用提供了可能性，在固定时刻内，每一个小小区的上下行子帧重配置决策独立于其他小小区，即一部分小小区处于下行阶段，另一部分小小区处于上行阶段，因此，在这种系统场景下，小小区网络之间不需要保持同步，系统模型中包含(S,A,P,R)四个集合,S是环境状态的离散集合，S＝{s₀,s₁₀,…s_t…s₁₀₀}，0≤t≤100，其中s_t表示为每个环境状态在固定周期内，小小区网络接收到其连接的移动终端所反馈的下行缓存中待传总比特数的百分比；A是动作状态的离散集合 A＝{a_i,a_j}，a_i表示小小区网络保持之前的子帧配置不变，a_j表示小小区网络改变之前的子帧配置，P是一个状态转移函数:P＝S*A*S∈[0,1]，R是回报函数R(t)， R＝{r_-5,r_-4,…r_d…r₅}，其中r_d表示为反馈得到的回报函数具体数值量，-5≤d≤5；

2)定义系统模型的状态转移函数P和回报函数R(t)：系统模型假设小小区网络不知道状态转移函数P和回报函数R(t)，在系统模型中，小小区网络的任务是学习从环境状态到动作状态的对应，从而获得最佳的回报函数，小小区网络根据其连接的移动终端所反馈的上下行缓存中待传总比特数量，调整子帧的配置方案，每个回报函数的下标表示在固定周期内，小小区网络根据选择的动作动态配置子帧所产生的回报信号，系统中采用的动作模型为无限范围模型，即折扣回报模型或动作序列无限模型，回报函数R (t)表示为公式(1):