[发明专利]一种面向非易失处理器的基于增强学习的备份系统及方法

说明书

本发明公开了一种面向非易失处理器的基于增强学习的备份系统及方法，包括：能量获取模块，被配置为从外界能量源中获取能量并为自身电源进行充电；数据处理模块，被配置为处理和存储数据和指令；备份控制器，被配置为根据电源的当前电量以及由数据处理模块提供的需要备份的数据的数量信息，并结合记录了对之前在某一状态下进行的选择的评估值的历史信息Q表和对本次执行结果的即时奖赏，向数据处理模块发送执行备份动作指令或者继续执行当前动作指令。本发明有益效果：基于增强学习的备份方法不需要线下分析，可以在运行程序的时候动态决定备份的时机，达到推进程序执行进度，提高能量利用率的效果。

技术领域

本发明涉及自供能嵌入式系统技术领域，尤其涉及一种面向非易失处理器的基于增强学习的备份系统及方法。

背景技术

本部分的陈述仅仅是提供了与本发明相关的背景技术信息，不必然构成在先技术。

自供能嵌入式系统通过收集环境中的能量(Energy Harvesting)，如太阳能、风能等作为嵌入式设备的能量输入，该系统可以克服电池供电带来的体积大、重量大、安全性差以及频繁充电的问题，在可穿戴/植入设备和部署在森林、高山上的物联网终端中广泛应用。从环境中收集的能量环保、可持续生成，但是其却是不稳定的。在不稳定的能量供应下，断电后自供能设备会丢失易失(Volatile)数据，程序执行过程被中断。恢复供电之后，由于存储在易失存储器中的数据丢失，处理器不得不重新执行程序，如果被执行的程序是一个比较大的程序，在不稳定的能量输入环境中，它会不断被重复执行甚至永远无法完成。

为了使自供能设备能够在能量收集环境中进行间断计算(IntermittentComputing)，也就是在不稳定的供电情况下，可以在恢复供电之后接着断电之前的程序执行进度继续执行，非易失处理器(Non-Volatile Processor)应运而生。非易失处理器在断电之前把易失数据备份(Backup)到一块非易失存储器(Non-Volatile Memory)中，非易失存储器中的数据是掉电不丢失的，在来电之后，再将非易失存储器中的数据恢复(Resume)回去，这样处理器就可以继续执行之前的程序了。由于数据备份需要消耗能量，所以非易失处理器需要确定备份的时间，以预留出足够的能量给备份操作，防止因备份操作无法完成而产生的数据不一致问题，保证程序执行的正确性。而如果备份操作被触发的过早，会有部分本来能用于执行指令的能量被浪费。因此，备份操作应在能量剩余充足的时候被触发，同时又要保证在备份之后剩余的能量尽可能的少，以减少能量浪费，让更多的能量用于执行程序，推进程序的执行进度。那么在非易失处理器中，决定备份的时机就特别重要了。而且由于环境的多变性，非易失处理器希望在运行时进行备份决策而无需线下分析，以适应不同的环境，提高实用性。

为了确保备份能够成功完成，一种保守的备份方式是立即备份(InstantBackup)，即当电容器中的能量一旦少于最坏情况下备份需要消耗的能量时，备份操作被触发。立即备份可以保证备份的正确性，但是由于备份阈值设置的较高，会频繁触发备份操作，造成能量的浪费。还有一种方法是减少需要备份的内容，降低备份阈值，以提高能量的利用率，常见的有选择备份(即只备份被修改的数据)、压缩备份(即把需要备份的内容进行压缩)、栈大小感知的备份方法(即通过线下分析找到需要备份的内容较少的时机备份)。为了进一步将更多的能量用于执行程序，一些已有的设计欲在能量到达预设的阈值后，在备份之前利用剩余的能量再多执行几条指令。这种动态决策方法大多需要线下分析来确定一个安全的备份位置。

发明内容

为了解决上述问题，本发明提出了一种面向非易失处理器的基于增强学习的备份系统及方法，可以进行线上备份决策，在能量多的时候尽可能多地执行程序，能量少且可以保证成功备份的时候选择备份操作，达到提升程序执行进度的效果。

在一些实施方式中，采用如下技术方案：

一种面向非易失处理器的基于增强学习的备份系统，包括：

能量获取模块，被配置为从外界能量源中获取能量并为自身电源进行充电；