[发明专利]一种支持AI引擎的接入网智能切片管控方法及装置

权利要求书

1.一种支持AI引擎的接入网智能切片管控方法，其特征在于，包括：

测量用户设备的流量细粒度，根据流量细粒度对用户设备进行识别与分类；

基于对用户设备的识别与分类结果，在接入网内创建和编排出一系列符合用户设备要求的接入网切片，将用户设备分配到对应的接入网切片内；并在用户设备的数据流量类型发生变动时，实时改变用户设备所属的接入网切片；其中，具有不同数据流量特征的用户设备被分配到不同的接入网切片中；

在接入网切片运行过程中，根据从基站收集到的信息，基于预设的深度强化学习算法，对接入网切片中的片间资源调度进行管控，从而实现接入网切片所使用的基站无线资源随着接入网内用户设备的接入情况进行自适应优化；

所述从基站收集到的信息包括：每个接入网切片的吞吐量信息、用户设备的时延信息以及用户设备的信道质量指示反馈信息；

所述预设的深度强化学习算法包括：双重深度Q网络算法DDQN、决斗深度Q网络算法Dueling DQN，以及异步优势Actor-Critic算法A3C；

所述在接入网切片运行过程中，根据从基站收集到的信息，基于预设的深度强化学习算法，对接入网切片中的片间资源调度进行管控，包括：

将不同网络切片进行资源分配的过程转化为马尔可夫决策过程，将基站作为智能体，状态空间为多个不同的网络切片的当前数据吞吐速率rates，动作空间即时奖励优化目标是在满足速率需求的同时，使得每个不同的网络切片与其目标数据吞吐速率之差的绝对值和最小；

其中，s(t)是t时刻的状态空间集合，包含了该时刻每个网络切片的吞吐速率；rates_i(t)表示t时刻第i个网络切片的吞吐速率；a(t)是t时刻的动作空间集合，集合中每个元素的下标n表示该元素是时刻t第n个网络切片要采取的动作，将分配给该网络切片的资源块数目增加一个；r_i(t)表示第i个网络切片在时刻t进行资源分配后获得的奖励函数，其中rb_i表示第i个网络切片所占用的资源块数量，RATES_i(t)表示第i个网络切片速率要求；

在智能体的训练和学习过程中，基于预设的深度强化学习算法进行学习，智能体根据当前环境下输入的状态，在动作空间中选取特定动作，不断调整物理资源块的分配；其中，所述特定动作是为不同切片分配的无线资源；

通过观测系统回报以及系统状态转换，更新神经网络参数及有关状态信息来与环境进行交互，从而实现最大化长期累积回报；

利用智能体稳定收敛后输出的动作对接入网切片进行无线资源的分配。

2.如权利要求1所述的支持AI引擎的接入网智能切片管控方法，其特征在于，所述在接入网内创建和编排出一系列符合用户设备要求的接入网切片，将用户设备分配到对应的接入网切片内；并在用户设备的数据流量类型发生变动时，实时改变用户设备所属的接入网切片，包括：

在开源OpenAirInterface平台的软件定义无线电基站中的介质访问控制层实现切片间调度，以在接入网内创建和编排出一系列符合用户设备要求的接入网切片，将用户设备分配到对应的接入网切片内；并在用户设备的数据流量类型发生变动时，实时改变用户设备所属的接入网切片；并且将接入网切片的生命周期管理流程抽象为API管理接口，通过预设的通信协议对外提供管理接口。

3.如权利要求1所述的支持AI引擎的接入网智能切片管控方法，其特征在于，所述根据流量细粒度对用户设备进行识别与分类，包括：

采用预设的卷积神经网络根据流量细粒度对用户设备进行识别与分类；

所述卷积神经网络的训练过程，包括：

将公共网络收集到的网络流量可视化为计算机的数字图像，构建移动流量数据图像集；然后使用所述移动流量数据图像集对所述卷积神经网络进行训练。

4.一种支持AI引擎的接入网智能切片管控装置，其特征在于，包括：

接入网切片实现模块，用于测量用户设备的流量细粒度，根据流量细粒度对用户设备进行识别与分类；基于对用户设备的识别与分类结果，在接入网内创建和编排出一系列符合用户设备要求的接入网切片，将用户设备分配到对应的接入网切片内；并在用户设备的数据流量类型发生变动时，实时改变用户设备所属的接入网切片；其中，具有不同数据流量特征的用户设备被分配到不同的接入网切片中；

智能管控模块，用于在接入网切片运行过程中，根据从基站收集到的信息，基于预设的深度强化学习算法，对接入网切片中的片间资源调度进行管控，从而实现接入网切片所使用的基站无线资源随着接入网内用户设备的接入情况进行自适应优化；

所述从基站收集到的信息包括：每个接入网切片的吞吐量信息、用户设备的时延信息以及用户设备的信道质量指示反馈信息；

所述预设的深度强化学习算法包括：双重深度Q网络算法DDQN、决斗深度Q网络算法Dueling DQN，以及异步优势Actor-Critic算法A3C；

所述在接入网切片运行过程中，根据从基站收集到的信息，基于预设的深度强化学习算法，对接入网切片中的片间资源调度进行管控，包括：

将不同网络切片进行资源分配的过程转化为马尔可夫决策过程，将基站作为智能体，状态空间为多个不同的网络切片的当前数据吞吐速率rates，动作空间即时奖励优化目标是在满足速率需求的同时，使得每个不同的网络切片与其目标数据吞吐速率之差的绝对值和最小；

其中，s(t)是t时刻的状态空间集合，包含了该时刻每个网络切片的吞吐速率；rates_i(t)表示t时刻第i个网络切片的吞吐速率；a(t)是t时刻的动作空间集合，集合中每个元素的下标n表示该元素是时刻t第n个网络切片要采取的动作，将分配给该网络切片的资源块数目增加一个；r_i(t)表示第i个网络切片在时刻t进行资源分配后获得的奖励函数，其中rb_i表示第i个网络切片所占用的资源块数量，RATES_i(t)表示第i个网络切片速率要求；

在智能体的训练和学习过程中，基于预设的深度强化学习算法进行学习，智能体根据当前环境下输入的状态，在动作空间中选取特定动作，不断调整物理资源块的分配；其中，所述特定动作是为不同切片分配的无线资源；

通过观测系统回报以及系统状态转换，更新神经网络参数及有关状态信息来与环境进行交互，从而实现最大化长期累积回报；

利用智能体稳定收敛后输出的动作对接入网切片进行无线资源的分配。