[发明专利]深度学习系统和方法以及使用深度学习的无线网络优化

权利要求书

1.一种深度学习方法，包括：

使用一组权值初始化神经网络，所述神经网络用于确定动作，所述动作调节与无线网络中的基站相关联的小区的一个或多个设置，每个基站为一个或多个小区内的用户设备UE提供通信服务；以及

通过使用深度强化学习DRL过程训练所述神经网络，所述DRL过程包括：

生成针对所述无线网络中的多个小区的第一多个经验元组，每个经验元组包括标识小区的小区标识符、所述小区的第一状态、所述小区的第二状态、使所述小区从所述第一状态转移到所述第二状态的动作、以及对采取所述动作的奖励值，其中，小区的状态包括提供所述小区的覆盖区域的基站的设置，奖励值是基于从所述无线网络中的UE接收的测量报告使用成本函数计算的，其中，每个经验元组可以是DRL生成的经验元组或专家生成的经验元组，在所述DRL生成的经验元组中，相应动作由DRL智能体根据DRL技术基于所述神经网络选择，在所述专家生成的经验元组中，所述相应动作基于专家经验提供，并且其中，基于第一准则确定动作是由所述DRL智能体基于所述神经网络选择还是基于所述专家经验提供；以及

从所述第一多个经验元组中选择第二多个经验元组；以及

根据所述第二多个经验元组中的奖励值更新所述神经网络的所述一组权值。

2.根据权利要求1所述的方法，其中，所述第一准则是基于概率的准则、基于相似度的准则、或基于阈值的准则。

3.根据权利要求1-2中任一项所述的方法，其中，使用所述一组权值初始化所述神经网络包括：

确定是使用随机选择的权值还是使用从专家神经网络获得的权值初始化所述神经网络，所述专家神经网络已使用深度学习技术进行训练并且可以提供用于初始化所述神经网络的权值。

4.根据权利要求1-2中任一项所述的方法，其中，生成所述第一多个经验元组还包括：

基于所述第一准则确定经验元组是使用由所述DRL智能体基于所述神经网络选择的动作生成，还是基于所述专家经验提供。

5.根据权利要求1-2中任一项所述的方法，其中，从所述第一多个经验元组中选择所述第二多个经验元组包括：

基于第二准则确定从所述第一多个经验元组选择DRL生成的经验元组还是专家生成的经验元组。

6.根据权利要求5所述的方法，其中，所述第二准则是基于阈值的准则、基于概率的准则、基于相似度的准则、基于经验元组间的关系的准则、或基于重要性采样的准则。