[发明专利]一种基于Q学习算法的Spinal码编译码交织策略及装置

权利要求书

1.一种基于Q学习算法的Spinal码编译码交织策略，其特征在于，包括如下步骤：

步骤S1，初始化Spinal码的编码参数和译码参数；初始化高斯学习算法参数；初始化交织器参数；初始化Q学习算法参数；

步骤S2，设置编码符号初始值W＝N₁，W指编码符号数量，N₁表示设置的初始值；

步骤S3，发送端编码生成W个编码符号，编码的过程为：首先，将一段长度为n bits的信息比特序列M划分为组，即n表示信息比特序列的长度，k表示划分后每组的长度，即每组长度为k bits；然后，将随机数种子s₀和M₀经过Hash函数，根据式(1)依次类推计算：

s_i＝Hash(s_i-1,M_i-1)          (1)

得到每组信息比特对应的值s_i，即：其中i为每个值的标号，每个值s_i的大小为v bits，最后，将个值s_i分别作为随机数生成器(RNG)的输入，得到x_i表示每一个随机数生成器的输出，随机数生成器每一批次的编码输出组成一个Spinal码的编码符号，对于每一信息比特序列，发送端可通过随机数生成器源源不断地生成编码符号；

步骤S4，确定交织深度K，c表示每一个随机数生成器输出的长度，将W个编码符号作为输入信息序列逐行写入到大小为R×C的矩阵中；

步骤S5，对R×C矩阵进行行内交织，得到行内交织的序列U_i(j)，它表示被改变顺序的第i行中第j个信息所对应的原始位置；

步骤S6，将得到的U_i(j)按照T(i)进行行间交织，其中T(i)为行间交织模型，具体参数根据交织的深度K和行数R选取，得到交织后的新矩阵；

步骤S7，通过裁剪新矩阵并按列读取得到输出信息序列；

步骤S8，将得到的交织后的输出信息序列作为一个数据包发送；

步骤S9，接收端对收到的数据包解交织，解交织过程为交织的逆过程，得到W个Spinal码编码符号；

步骤S10，对W个编码符号进行逐一译码，直到译码成功，或W个编码符号均译码失败，译码过程为：使用与编码端相同的s₀、Hash函数以及随机数生成器在译码端重建译码树，以s₀为根节点，按顺序考虑的可能取值，然后从根节点遍历至叶子节点，从译码树的第d级开始，d表示译码时开始裁剪译码树的级数，每级译码树只保留译码开销最小的B个节点，B表示译码时每次删减保留的节点数；接着，从B·2^k条路径中选出译码开销最小的路径，即为最终译码结果；最后，对译码结果进行CRC校验，若CRC校验通过，则译码成功；否则译码失败；

步骤S11，判断当前译码状况，若对其中一个编码符号译码成功，表示对这一段信息比特序列译码成功，本轮译码结束；若对W个编码符号均译码失败，R_etranstime次数累加1次，判断当前是否达到最大允许传输次数R_{etranstimemax}；记本轮参与译码的编码符号数目为M_orepass，当前信息段的传输次数为R_etranstime；

步骤S12，计算回报函数Reward，在发送端，根据上一步译码的编码符号数目M_orepass和传输次数R_etranstime计算回报函数Reward，其中，γ(0≤γ≤1)为权衡因子；M_orepassmax为允许发送的最大累计编码符号数目；R_{etranstimemax}表示最大允许的传输次数；

步骤S13，通过高斯学习确定方差σ²，均值μ，偏度σ³，发送端根据接收端的反馈，利用高斯学习算法计算当前信道的译码累计分布函数，得到信道新状态参数：方差σ²，均值μ，偏度σ³，计算方法为：

Q_sample＝Q_α·Q_sample+1，Q_sumq＝Q_α·Q_sumq+Q_sample，Q_sumsq＝Q_α·Q_sumsq+Q_sample²，Q_sumtq＝Q_α·Q_sumtq+Q_sample³，

Q_α表示高斯学习因子，其取值越大，之前时刻的译码累积分布函数对当前时刻的译码累计分布函数的估计的影响就越大；Q_sample、Q_sumq、Q_sumsq和Q_sumtq为高斯学习算法参数，Q_sample表示与高斯学习因子相乘得到的折扣后的样值，Q_sumq表示与高斯学习因子相乘得到的折扣后的累加和、Q_sumsq表示与高斯学习因子相乘得到的折扣后的平方和、Q_sumtq表示与高斯学习因子相乘得到的折扣后的立方和，在步骤S1中进行初始化；

步骤S14，在发送端，根据信道状态参数σ²，均值μ确定当前状态State(μ,σ²)，找到步骤S1初始化Q学习参数时建立的Q表中对应的行Q(State,:)，找出这一行中最大的元素Q_max(State,A)；得到下一步执行的最优动作A；

步骤S15，在发送端，根据最优动作A和偏度σ³确定当前应编码产生的编码符号N，σ³的正负及大小用来衡量译码累计分布函数的不对称性，偏度为正代表分布为右偏态，即右侧的尾部更长，分布的主体集中在左侧，此时应减少编码符号的数量；偏度为负代表分布为左偏态，即左侧的尾部更长，分布的主体集中在右侧，此时应增加编码符号的数量，具体计算方法为：

步骤S16，设置探索因子β_Q的值，产生一个0到1的随机数Q_rand，若β_Q＞Q_rand，则spinal码编码端生成的编码符号数量为W＝N；若β_Q≤Q_rand，则实际发送的编码符号数量为W＝N-δ，δ表示探索值；

步骤S17，根据Reward和Q_max(State,A)更新Q表，更新公式为：Q_new(State,A)＝Reward+η·Q_max(State,A)，η为Q学习因子，Q_new(State,A)表示Q表的更新值；

步骤S18，编码端根据步骤S11的译码情况，若译码成功，则按照步骤S16得到的W，回到步骤S3，进入下一信息比特序列的传输；若译码失败，判断是否达到最大传输次数：若是，丢弃这一信息比特序列，按照步骤S16得到的W，回到步骤S3，进入下一信息比特序列的传输；若否，按照步骤S16得到的W，回到步骤S3，继续这一信息比特序列的传输。