[发明专利]基于Q－learning的RFID多阅读器防碰撞算法

权利要求书

1.一种适用于RFID系统的基于Q-learning的阅读器防碰撞算法，约定阅读器个数为N，系统可用信道资源数为R，学习次数为T，折扣系数为γ，学习效率α，其特征在于，该算法步骤还包括：

步骤1)初始化：根据RFID网络中阅读器和信道资源的个数，初始化状态空间S和动作空间A，初始化Q表中所有的Q(s，a)＝0，其中s∈S，a∈A；

步骤2)执行动作：在当前状态s下，若对应的Q值都为0，即第一次访问该状态，则随机选择动作；否则选择Q表中最大值所对应的动作，通过该动作a分配一个信道资源给节点，从而a∈{1，2，...，R}；

步骤3)记录奖赏值：奖赏值c(s，a)评价动作产生后的效果，其值由公式c(s，a)＝n₁(s，a)c₁+n₂(s，a)c₂+n₃(s，a)c₃+n₄(s，a)c₄确定，执行步骤2)中的动作a之后，记录奖赏值c和下一状态s′；

步骤4)当系统的学习还未达到学习次数T时，转到步骤2)，当超过学习次数T时则终止学习过程，通过学习得到的最优策略，将信道分配给每个阅读器。

2.根据权利要求1所述的适用于基于Q-learning的阅读器防碰撞算法，其特征在于，所述阅读器个数N用于表示节点数目；所述系统可用信道数R用于表示系统可以提供的信道资源数。

3.根据权利要求1～2任意所述的适用于RFID系统的基于Q-learning的阅读器防碰撞算法，其特征在于，所述初始化参数命令为：初始化所有的Q(s，a)＝0。

4.根据权利要求3所述的适用于RFID系统的基于Q-learning的阅读器防碰撞算法，其特征在于，所述步骤2)中某一时刻的状态由i和A(i)确定，其中，i表示当前阅读器，i∈{1，2，...，N}，A(i)表示当前阅读器可用信道资源数，A(i)∈{1，2，...，R}，同时定义阅读器i的信道状态是R维向量U(i)＝{u₁(i)，u₂(i)，...，u_R(i)}，且

5.根据权利要求4所述的适用于RFID系统的基于Q-learning的阅读器防碰撞算法，其特征在于，所述步骤3)奖赏值：c(s，a)＝n₁(s，a)c₁+n₂(s，a)c₂+n₃(s，a)c₃+n₄(s，a)c₄，其中n₁(s，a)表示占用信道k且在阅读器i的干扰范围内的阅读器数量，n₂(s，a)表示不占用信道k且在阅读器i的干扰范围内的阅读器数量，n₃(s，a)表示占用信道k但不在阅读器i的干扰范围内的阅读器数量，n₄(s，a)表示不占用信道k且不在阅读器i的干扰范围内的阅读器数量，系数c₁，c₂，c₃，c₄通常满足c₁＞c₂＞c₃＞c₄，c(s，a)越小，系统碰撞率越小，符合Q-learning规则。

6.根据权利要求5所述的使用与RFID系统的基于Q-learning的阅读器防碰撞算法，其特征在于，所述步骤3)根据得到的奖赏值c(s，a)，Q值更新函数为：

其中s_t表示当前时刻的状态，a_t表示当前时刻的动作，s′表示下一个状态，a′表示下一个状态执行的动作，Q_t(s，a)表示当前状态动作下的Q值，Q_t+1(s，a)表示更新后状态动作对应的Q值，α是学习效率，γ是折扣因子，满足0≤γ＜1。