[发明专利]一种基于Q学习的可穿戴设备发射功率控制方法

说明书

本发明涉及机器学习和可穿戴设备功率控制领域，更具体地，涉及一种基于Q学习的可穿戴设备发射功率控制方法，基于常用设备可测定的信息量，并以传输时延、误码率这两个直观反映通信质量的信息量为基础，关联信息重要性与功耗，设计合理的系统效益函数，进行Q学习；在不知可穿戴设备与智能手机等接收机之间的距离、周边无线传输环境，和接收机处理时间等动态变化信息的情况下，进行可穿戴设备功率控制；本发明设计的系统效益函数对设备的工作表现与能耗进行了平衡，在确定发射功率时，兼顾设备发射能力与能耗问题这两个方面，优化设备的整体表现，有效避免了发送功率过低导致的高传输时延、高误码率等工作表现问题。

技术领域

本发明涉及机器学习和可穿戴设备功率控制领域，更具体地，涉及一种基于Q学习的可穿戴设备发射功率控制方法。

背景技术

由于体积，计算能力，内存和电池容量的限制，可穿戴设备的传输单元的能耗决定了其续航能力，其发射信号的功率控制是决定其总能耗的核心环节之一。若发射功率过低，传感信号的传输时延会增长，甚至信息无法送达。可穿戴设备所需要上传的不同类型的传感信息有不同的传输时延要求，其数据的重要性也不同。因此，可穿戴设备的发射功率控制需要在满足各类传感信息的传输时延等服务质量的前提下，降低总发射能耗。

由于可穿戴设备与智能手机等接收机之间的距离、周边无线传输环境，和接收机处理时间动态变化，难以被可穿戴设备提前准确地预测，因此，我们研究在不知这些信息时，可穿戴设备的功率控制。

论文《Deriving a Near-optimal Power Management Policy Using Model-freeReinforcement Learning and Bayesian Classification》与《Q-Learning Based PowerControl Algorithm for D2D Communication》分别提出的基于强化学习和基于Q学习的功率控制方法，并非针对可穿戴设备设计。其功率控制未能考虑可穿戴设备数据传输过程中的传输时延、待传数据重要性等信息，无法直接应用于可穿戴设备。

中国专利CN104871604A提供的功率控制方法，需要接收机测量反馈SINR(信号干扰噪声比)、SNR(信噪比)、接收信号功率密度和接收器信号功率等信息。然而可穿戴设备难以及时获取这些信息量，因此不能直接应用。

中国专利CN103889040A提供的发射控制方法，从辐射较大对人体的负面影响方面进行考虑，检测使用者身体指标进行功率控制，与本发明所述可穿戴设备发射功率控制问题有相似之处。但是，上述发明仅以满足基本通信质量为要求控制发射功率，可能出现传输时延高，信息误码率高等问题。

发明内容

本发明的目的在于克服现有技术的不足，提供一种基于Q学习的可穿戴设备发射功率控制方法，使用Q学习算法对可穿戴设备进行发射功率控制，在确定发射功率时，兼顾设备发射能力与能耗问题这两个方面，优化设备的整体表现，有效避免了发送功率过低导致的高传输时延、高误码率等工作表现问题。

为解决上述问题，本发明提供的技术方案为：一种基于Q学习的可穿戴设备发射功率控制方法，包括以下步骤：

S1.均匀地将发射功率p划分为M个功率等级，取值[1,2,…,M]；与可穿戴设备进行通信的接收设备称为信息接收端，可穿戴设备每经L秒调整一次发射功率，记为一个时隙t_s；

S2.对于第k个时隙记发射功率为p^(k)；

在整个时隙中，可穿戴设备执行以下操作：