[发明专利]一种智能反射表面监听优化方法、装置及控制器

权利要求书

1.一种智能反射表面监听优化方法，其特征在于，应用于监听系统中的控制器，所述监听系统包括发送终端、智能反射表面、接收终端、监听终端和所述控制器，所述方法包括：

获取所述监听系统中通信链路的信道状态信息；

基于所述信道状态信息建立所述监听系统的监听优化模型，所述监听优化模型的优化目标为监听速率最大；

将所述监听优化模型转换为马尔科夫过程；

基于深度学习算法对所述马尔科夫过程进行求解，得到所述智能反射表面的最优控制方案；

所述监听优化模型包括目标函数和约束条件；

所述监听优化模型的目标函数包括：

其中，α为所述监听终端的监听状态指标，R_D为所述接收终端的接收信息速率，Θ为所述智能反射表面的反射矩阵参数；

所述监听优化模型的约束条件包括：

其中，R_E为所述监听终端的接收信息速率，θ_l为第l个反射单元的相位，Φ为离散相位范围，L为所述智能反射表面的反射单元数量，约束C1和约束C2用于确保在α＝1时可以成功监听到目标信号，约束条件C3是智能反射表面各个单元的相位约束；

所述将所述监听优化模型转换为马尔科夫过程，包括：

将所述马尔科夫过程表示为元组形式：

S,A,P,R,γ

其中，S代表状态空间，A代表动作空间，P为状态转换概率函数，R为奖励函数，γ为折扣系数；

马尔科夫决策的过程为，在时隙t内，观测马尔科夫决策过程的当前状态s_t，根据当前状态和预设的决策策略选择一个行动a_t，在行动后接收到返回值r_t，并进入下一状态s_t+1中，循环执行以上步骤，直至完成所有时隙的行动，在以上决策过程中，寻优目标为积累奖励值最大；其中，所述马尔科夫决策过程为所述马尔科夫过程；

所述积累奖励值的表达式为：

其中，T为所有时隙的总时长；

所述基于深度学习算法对所述马尔科夫过程进行求解，得到所述智能反射表面的最优控制方案，包括：

基于所述马尔科夫过程构建Q功能函数；

基于贝尔曼法则和所述Q功能函数构建最优策略下的最优Q功能函数；

基于深度学习神经网络计算最接近所述最优Q功能函数的Q功能函数及对应的最优控制方案。

2.如权利要求1所述的智能反射表面监听优化方法，其特征在于，所述基于所述信道状态信息建立所述监听系统的监听优化模型，包括：

基于所述信道状态信息确定第一接收信号和第二接收信号；所述第一接收信号为所述接收终端接收的信号，所述第二接收信号为所述监听终端接收的信号；

基于所述第一接收信号确定第一速率，所述第一速率为接收终端接收信息的速率；

基于所述第二接收信号确定第二速率，所述第二速率为监听终端接收信息的速率；

基于所述第一速率和所述第二速率建立所述监听优化模型。

3.如权利要求1所述的智能反射表面监听优化方法，其特征在于，所述基于深度学习算法对马尔科夫过程进行求解，包括：

在神经网络训练过程中，基于经验回放技术打破相邻训练序列之间的相关性。

4.如权利要求1所述的智能反射表面监听优化方法，其特征在于，所述基于深度学习算法对所述马尔科夫过程进行求解，包括：

在所述求解过程中，基于贪心算法进行迭代更新。

5.如权利要求1所述的智能反射表面监听优化方法，其特征在于，所述基于深度学习算法对所述马尔科夫过程进行求解，得到所述智能反射表面的最优控制方案之后，所述方法还包括：

按照所述最优控制方案对所述智能反射表面进行调整。