[发明专利]基于Q－learning的RFID多阅读器防碰撞算法

说明书

本发明涉及无线射频识别中的阅读器防碰撞技术，具体地说是基于Q‑learning的RFID多阅读器防碰撞算法。整个算法过程包括建立马尔可夫模型、定义状态与动作空间、迭代学习、更新参数以及寻找最佳策略。本发明利用Q‑learning算法中自主学习的方式实现最佳信道资源分配，即通过递归的方式寻求最优值，Q表的初始值为0，根据一定的学习准则进行学习，从而不断更新迭代Q值，最终根据Q表就可以将信道资源进行最佳分配，使碰撞率达到最低，提高标签识别率，实现整体性能的提升。

技术领域

本发明涉及无线射频识别中的阅读器防碰撞技术，具体地说是基于Q-learning的RFID多阅读器防碰撞算法。

背景技术

随着物联网技术的普及，无线射频识别(RFID)技术被越来越广泛地应用到各行各业中，如智能超市，身份证，车牌识别，公交卡等等。RFID技术，即射频识别技术，是一种无线通信技术，可以通过无线电信号识别特定目标并读写相关数据，而无需识别系统与特定目标之间建立的机械或者光学接触。射频识别是当前国际发展最迅速的新技术之一，它具有非接触性，识别距离远，抗干扰能力和环境适应性强，保密性高等优点。RFID技术是物联网的核心技术之一，在无需人为干预下，通过计算机设备和互联网，对物品自动识别，实现信息的互联和共享。随着技术的发展，RFID技术会在科技生活中起到不可或缺的作用。

在RFID系统中，受到外部环境和自身系统的影响，会存在两种形式的碰撞——多标签碰撞和多阅读器碰撞。目前最常见的标签防碰撞算法是基于时分复用(TDMA)方法，TDMA方法分为ALOHA的不确定性算法和基于二叉树的确定性算法；阅读器碰撞分为两类：一类是“阅读器-阅读器”碰撞，另一类是“阅读器-标签”碰撞。电子标签防碰撞问题的研究开始的比较早，已经有许多国内外文献给出了各种多标签防碰撞技术，但对多标签碰撞的研究已经达到瓶颈期，而关于阅读器的信号碰撞问题研究的较晚，相关技术和算法也较少，已经提出的防碰撞技术和算法都有不足之处或提升空间，近几年随着多阅读器在协同工作环境中的应用，阅读器防碰撞问题开始得到重视，为了提高RFID系统的标签识别率，必须解决或减少阅读器碰撞。

多阅读器碰撞是指当多个读写器同时读写标签，标签无法正确解析读写器信号。多阅读器防碰撞算法主要分为调度方式和功率调整方式，调度方式是在全网的体系结构中，统一收集阅读器间的碰撞消息，将系统可用资源合理分配给各个阅读器使用，防止多个阅读器同时发送信号给标签而产生信号干扰。常用的算法有Colorwave、HiQ-learning、PULSE以及CSMA等。功率调整方式则是通过动态调整阅读器信号范围，使每个阅读器在同一时隙内利用不同发送功率，以此获得最大范围，其代表协议有LLCR和w-LCR等等。但是算法比较复杂，会降低效率，而且需要到无线射频识别系统中引入新的中心控制设备，系统成本高。

由于调度方式的实现更为简单，应用更为广泛，所以我们进行基于调度方式的多阅读器防碰撞研究。已有学者提出HiQ算法，则证实基于Q-learning的算法研究是有理论依据的，将RFID系统的多阅读器防碰撞与机器学习中的强化学习方法是一种既有理论依据又有实际执行力，并且具有一定的新颖性。

通过文献检索，我们检索到了以下相关文献，这些算法虽然能在一定程度上减少RFID阅读器碰撞，但是都没有采用Q-learning机制，例如：

中国专利CN201410251082.7，一种RFID系统阅读智能规划方法，专利权人：中山大学，该专利公开了一种RFID系统阅读器的规划部署阶段和运行维护阶段，从多阅读器协同工作时的防碰撞分配资源角度出发。在规划部署阶段，基于RFID系统的可用信道和时隙资源以及所部署的物理空间范围，获得最优的阅读器数量、位置及其相应的时隙和信道资源分配方案，最优的阅读器数量即为RFID系统的参考阅读器数量N*；在运行维护阶段，将参考阅读器数量N*与RFID系统的当前阅读器数量N进行比较，根据N*和N的大小关系，通过保持阅读器当前数量不变或增援阅读器工作或者禁止冗余阅读器工作以实现RFID系统阅读器智能规划，使得系统标签识别效率达到最优或者保持在较高的水平。