[发明专利]NB-IoT无线资源分配方法、装置及可读介质

说明书

本发明涉及一种NB‑IoT无线资源分配方法、装置及介质的技术方案，包括：初始化智能体参数，获取智能体的第一环境状态；根据第一环境状态从经验池为智能体分配第一无线资源分配策略；获取智能体执行第一无线资源分配策略得到的第二环境状态，进而获取基于第二环境状态得到的奖励值；将第一环境状态、第一无线资源分配策略、第二环境状态及奖励值存储至经验池。本发明的有益效果为：提高了NB‑IoT的资源利用率，降低碎片化现象。

技术领域

本发明涉及计算机网络、计算机人工智能及物联网领域，具体涉及了一种NB-IoT无线资源分配方法、装置及可读介质。

背景技术

NB-IoT是一种只占用180kHz频域资源的低功耗物联网通信方案，所有的物联网接入设备所需的通信资源都在这180kHz内进行分配。目前，NB-IoT的资源分配策略多是基于预先定义资源的方式进行分配，此种分配方式具有逻辑简单，分配算法易于实现，运行效率高的特点。但随着物联网业务模型越来越复杂，这种分配方式所预定义的资源格式显然过于单一，容易造成资源利用率，碎片化严重的现象。所以如何提高资源利用率，减少碎片化现象成为了业内的一个重要研究对象。

目前，业界使用的分配算法多以静态为主，如FIFO算法，预定义资源格式等。FIFO算法保证了每个接入设备的公平性，但并未考虑到业务的优先级，一些时延不敏感的业务占据了优先级更高的业务的资源，使优先级更高的业务需要顺延一定时间才得以传输。而采用预定义资源格式，可以分优先级传输，但随着物联网业务越来越复杂，预定义的格式也会随之变得越来越复杂，多种格式的组合分配如何设计最优算法也将成为一大难题。预定义分配算法一旦定义好后，并不会随着业务模型的改变而改变。而业务是动态变化的，如何使算法能自适应业务的动态变化需求，也应是业界需考虑的问题之一。

发明内容

本发明的目的在于至少解决现有技术中存在的技术问题之一，提供了一种NB-IoT无线资源分配方法、装置及可读介质，提高了NB-IoT的资源利用率，降低碎片化现象。

本发明的技术方案包括一种NB-IoT无线资源分配方法，其特征在于，该方法包括以下步骤：初始化智能体参数，获取NB-IoT的第一环境状态；根据所述第一环境状态通过所述智能体为所述NB-IoT分配并执行第一无线资源分配策略；获取所述NB-IoT执行所述第一无线资源分配策略得到的第二环境状态，并获取所述NB-IoT从所述第一环境状态至第二环境状态得到的奖励值；将所述第一环境状态、所述第一无线资源分配策略、所述第二环境状态及所述奖励值存储至所述经验池；所述智能体为神经网络。

根据所述的NB-IoT无线资源分配方法，其中初始化智能体参数，获取NB-IoT的第一环境状态包括：随机初始化所述智能体参数，从NB-IoT的MAC层获取所述第一环境状态，其中环境状态包括所述NB-IoT的时频域资源的使用情况、UE请求和业务模型。

根据所述的NB-IoT无线资源分配方法，其中该方法还包括：所述智能体将所述NB-IoT从所述第一环境状态至所述第二环境状态所产生的所述第一无线资源分配策略、所述奖励值及对应的环境状态作为一次交互，每次交互后将所述智能体参数存储至经验池，经过若干次交互后，从所述经验池抽取若干数据进行学习，并更新自身神经网络参数。

根据所述的NB-IoT无线资源分配方法，其中智能体抽取数据所需的调度次数及抽取数据量可自定义设置，且抽取数据的方式为随机抽取。

根据所述的NB-IoT无线资源分配方法，其中经验池包括多个所述智能体历史时刻存储的上一时刻状态、策略动作、下一时刻状态及所述奖励值，所述经验池的存储规则为先进先出。

根据所述的NB-IoT无线资源分配方法，其中该方法还包括：所述奖励值还设置有评估方式，所述评估方式通过当前时刻资源利用率评估所述第一无线资源分配策略的好坏。