[发明专利]认知无线电中基于协作学习的多用户动态频谱接入方法

权利要求书

1.一种认知无线电系统中基于协作学习的多用户动态频谱接入方法，其特征在于该方法的具体内容为：

a、初始化：随机初始化每个认知用户的状态-动作对函数值Q(s，a)，s表示认知用户的状态，a表示认知用户所采取的动作，设定初始学习速率α₀、温度参数T和迭代次数N；

b、状态空间的构建：状态空间S={s1,s2,···,sK,sd1,sd2,···,sdM},]]>其中s_k＝0表示信道被授权用户k占用；s_k＝1表示信道未被占用；s₁～s_K表示授权用户占用的信道，K为授权用户数，表示被认知用户占用的信道，d₁～d_M表示M个认知用户数；

c、动作选择策略：对状态-动作函数值Q(s_t，a_t)用玻耳兹曼法进行非线性化，然后再采用轮盘赌算法进行选择，用Boltzmann机分布选择动作的概率p(ai/st,Q)=eQ(st,ai)/TΣaj∈AeQ(st,aj)/T,]]>其中，Q(s_t，a_i)是每个状态-动作对的函数值，A为认知用户作用于环境的动作集合，p(aⁱ/s_t，Q)表示在状态s_t选择动作aⁱ的概率，i和j为动作的序号，T为可调节的温度参数，T的大小代表了随机性的大小，T越大则选择动作的随机性越强；

d、确定奖赏函数：系统中存在一个信道同时被两个用户占用即冲突时，奖赏函数r为“-6”，是一种惩罚；不存在即没有冲突时r为“2”，反映了降低冲突概率的要求。

e、实现黑板模型：在迭代了N次以后，所有认知用户将各自当前的Q值通过公共控制信道发送到黑板即控制中心，并且可以从黑板中获取其它认知用户的Q值，然后利用融合方法进行计算，在此基础上，每个认知用户都根据融合后的Q值进行动作选择。

2.如权利要求1所述的认知无线电系统中基于协作学习的多用户动态频谱接入方法，其特征在于对Q值利用融合方法进行计算的过程为：

步骤1：设N次迭代为一个学习周期，在每个学习周期结束之后，各认知用户将自己当前的Q值发送到黑板，并且分享黑板中其它认知用户的Q值，找出拥有最大Q值的认知用户Qt*(s,a)=max1≤m≤M{Qtm(s,a)},]]>M为认知用户数，m∈{1，2，…，M}；

步骤2：计算差值Δ=Qt*(s,a)-Qtm(s,a)]]>

步骤3：计算Qtm(s,a)=Qtm(s,a)/2,Δ>02Qtm(s,a),Δ=0.]]>