[发明专利]M2M通信中基于深度强化学习的资源调度方法及装置

说明书

本申请公开了M2M通信中基于深度强化学习的资源调度方法及装置，用以解决M2M中系统资源分配不合理，容易产生网络拥塞的问题。该方法建立TD‑LTE系统模型，并确定所述系统当前的资源映射状态；接收待处理的业务作业；根据所述当前的资源映射状态，以及所述待处理的业务作业，通过预先训练好的深度强化学习神经网络，向所述待处理的业务作业分配资源；根据分配结果，对所述当前的资源映射状态进行调整。本方法通过深度学习和强化学习的结合，在资源分配时，确定最合理的资源分配方式，提高资源调度效率，能够解决由MTCD通信引起的网络拥塞的问题。

技术领域

本申请涉及深度强化学习技术领域，尤其涉及一种基于深度强化学习的资源调度方法及装置。

背景技术

蜂窝网络的主要业务是机器类型通信(Machine Type Communication，MTC)。在MTC的机器对机器(M2M)通信中，当大量机器类型通信设备(Machine Type CommunicationDevice，MTCD)请求访问网络时，可能会存在过载的问题。因此，资源管理问题是蜂窝网络通信中的基本问题。

随着LTE的发展，用户对数据传输速率和系统容量不断增长的需求。M2M是网络的核心技术之一，无线接入网的主要问题是过载和资源分配不合理，导致网络拥塞。M2M设备已深入生活和工业生产中，提高了社会生产水平、工业生产效率同时降低了生产成本。M2M通信作为物联网的关键技术，满足各类物联网业务需求的M2M通信系统的设计具有重要意义。移动蜂窝网络具有高速率传输、大范围覆盖、高可靠性、易于部署等特点，是物联网业务的理想载体，但是蜂窝网与物联网的融合也面临一定的挑战。

M2M通信中的大量业务具有功耗敏感、小数据包随机性传输、要求广覆盖的特点。例如，居民小区内的智能电表、智能水表，会周期性上报用户的耗电量、耗水量；停车场内的车辆检测系统，在车辆抵达和离开停车位时会上报车位的使用信息；等等。这类业务要求终端设备耗电量小，电池寿命长，能够随机性的频繁上报少量数据，体现了蜂窝网与物联网的融合。

但是，由于无线接入网过载和资源分配不合理的问题，使得这类业务更容易引起控制信道信令堵塞的问题，产生网络拥塞。

发明内容

本申请实施例提供一种M2M通信中基于深度强化学习的资源调度方法及装置，用以解决M2M中系统资源分配不合理，容易产生网络拥塞的问题。

本申请实施例提供的一种M2M通信中基于深度强化学习的资源调度方法，包括：

建立TD-LTE系统模型，确定所述系统当前的资源映射状态，并将所述当前的资源映射状态转化为图像；

接收待处理的业务作业；

根据所述当前的资源映射状态，以及所述待处理的业务作业，通过预先训练好的深度强化学习神经网络，向所述待处理的业务作业分配资源；

根据分配结果，对所述当前的资源映射状态进行调整。

在一个示例中，所述深度强化学习神经网络通过以下方式获得：以卷积神经网络作为强化学习中的值函数；将资源映射状态图与资源分配动作输入卷积神经网络中，提取所述资源映射状态图的特征，确定所述资源映射状态图、资源分配动作与对应的Q值之间的相关性。

在一个示例中，根据所述当前的资源映射状态，以及所述待处理的业务作业，通过预先训练好的深度强化学习神经网络，向所述待处理的业务作业分配资源，具体包括：将所述当前的资源映射状态，以及所述待处理的业务作业输入深度强化学习神经网络中，从所有可执行的资源分配动作中，确定对应Q值最高的可执行的资源分配动作；根据所述Q值最高的可执行的资源分配动作，向所述待处理的业务作业分配资源；记录所述资源映射状态、可执行的资源分配行为和对应的奖励信息，并计算对应的累积奖励。