[发明专利]一种基于强化学习的水声通信自适应调制编码算法

说明书

本发明属于水声通信领域，公开了一种基于强化学习的水声通信自适应调制编码算法，通过强化学习算法自主探索信道质量和调制编码方案之间的关系，建立可靠的MCS切换门限，该方法包括：首先定义调制编码方案、信噪比、吞吐量为Q表三要素state、action、reward并初始化Q表，初始时刻，随机选择调制编码方案发送信号，接收端接收解调信号并发送反馈信号，强化学习模块根据反馈信息更新Q表并根据新Q表选择调制编码方案发送信号，接收端接收解调信号并发送反馈信号，重复以上步骤，经强化学习模块多次学习后，得出准确的MCS切换门限。解决了传统自适应调制编码技术根据仿真或一定的假设前提给出数学模型得到的MCS切换门限存在一定误差的问题。

技术领域

本发明属于水声通信技术领域，涉及一种强化学习算法和自适应调制编码技术相结合的通信系统。

背景技术

水声通信是水下通信中最为成熟的通信方式，但是水声信道具有时变、空变、频变的特点，海洋中的噪声，信号传播过程中的衰减，多径传播，多普勒频移，这些因素直接影响水声通信的可靠性。采用信道编码技术对待发送信息进行处理可以有效抵抗水声信道中的干扰，降低误码率，提高水声通信的可靠性。由于水下环境时刻发生着变化，水声信道受环境影响显著，如果只采用固定的编码方式和速率，当水声信道状态较好时，固定的编码速率会影响信息的传输速率，同时当水声信道状态较差时，固定的编码方式和速率会产生较高的误码率。

针对复杂的水声信道，自适应调制编码技术根据信道质量的好坏，动态调整信道编码的方式和速率以及水声通信的调制方式，改变调制参数和编码方式与当前信道状态相匹配，充分利用信道特性以提高通信的可靠性和有效性。但传统的自适应调制编码技术根据仿真或一定的假设前提给出数学模型得出调制编码方案与信道质量之间的关系,面对复杂多变的水声信道，传统自适应调制编码技术由仿真或一定的假设前提给出数学模型得出MCS切换门限存在一定的误差，难以有效降低水声通信系统的误帧率和提高水声通信系统的吞吐量。本发明提出的基于强化学习的自适应调制编码算法，不依赖于仿真得出的MCS切换门限数据，根据实时通信系统中实际的误帧率性能去确定SNR和MCS之间的对应关系，通过强化学习算法的学习，准确得出MCS切换门限，解决了传统自适应调制编码技术MCS切换门限存在误差的问题。

发明内容

针对水声通信系统中传统自适应调制编码算法面对复杂多变的水声信道难以满足误帧率要求，本发明提出基于强化学习的自适应调制编码算法，以解决上述问题。

为实现上述发明目的，将采用下述方案：

S1：将强化学习与自适应调制编码系统结合，设定Q表三要素：state、action、reward，建立Q表并初始化Q表；

S1-1：将水声信道中不同大小的信噪比作为状态state，根据不同大小的信噪比所选择的调制方式和编码速率作为动作action，不同的调制方式和编码速率所获得的吞吐量作为奖励reward。

S1-2：信噪比计算公式：

其中，为信道冲激响应函数，为方差。

吞吐量计算公式：

其中，信号发送的时间用T来表示，BER为误码率，M为调制阶数，N代表T时间内发送的符号数目。

S2：发射端在初始时刻随机选择调制编码方式发送信号，接收端处理信号并发送反馈信号；