[发明专利]基于强化学习的多数据SSD中的闪存资源分配方法

说明书

本发明公开了一种基于强化学习的多数据SSD中的闪存资源分配方法。通过全面学习相关的I/O模式和SSD内部运行状态，满足各种I/O流资源需求的同时，可以消除I/O冲突，从而同时改善系统性能和存储寿命。

技术领域

本发明属于存储优化技术，具体为一种基于强化学习的多数据SSD中的闪存资源分配方法。

背景技术

与传统硬盘相比，固态硬盘SSD具有高抗震性、低访问延迟、低功耗等优势。由于闪存的异地更新特性，SSD必须维护垃圾回收(GC)功能，以回收无效空间。垃圾回收(GC)是导致固态硬盘SSD的I/O性能下降和存储寿命缩短的主要原因之一。GC产生的数据迁移开销，会降低系统性能，缩短存储寿命。GC的实现单位是块，读写I/O的单位是页。在每次GC过程中，设备控制器根据特定的算法挑选一个牺牲块，将该块中的所有有效页复制到其他物理地址，并擦除该块。此过程可能需要很长时间，使系统陷入极长的I/O延迟，导致GC阻塞的I/O必须挂起，直到GC进程完成。由于每个闪存单元只能承受有限的编程/擦除(P/E)次数，GC页面迁移的额外写入I/O，会影响存储寿命。

为了减轻GC的影响，多数据流SSD将寿命周期相似的I/O数据分类到相同的I/O流中，减少GC产生的页面拷贝开销。多数据流SSD技术提出将生命周期相近的I/O数据聚集到同一I/O流中，并在同一物理块中容纳来自同一I/O流的I/O。通过这种方式，同一块中的I/O数据可以同时失效，从而减少GC中的待迁移的有效页面数量。

多数据SSD中的闪存资源分配方法是阻碍该技术广泛应用的关键难题。静态分配方法不能满足不同I/O流的资源需求，损害系统性能和存储寿命。动态分配方法对各种I/O模式和SSD内部运行状态的错误策略，会加剧内部I/O冲突和SSD磨损均衡(WL)，从而延长I/O尾部延迟，缩短存储寿命。

发明内容

本发明提出了一种基于强化学习的多数据SSD中的闪存资源分配方法。

实现本发明的技术解决方案为：一种基于强化学习的多数据SSD中的闪存资源分配方法，具体步骤为：

将来自不同应用程序的I/O请求聚集到多个I/O流中，闪存控制器从主机端和设备端收集主机状态相关因素，以确定主机当前状态，并根据贪婪策略，进行探索或利用，其中，探索是指随机选择分配动作，利用是指将当前状态、权重以及所有动作逐一输入至深度Q网络，由深度Q网络计算出每个动作的Q值逼近值，选择Q值逼近值最高的动作；

将选定的动作发送至设备控制器中的资源分配器，资源分配器执行动作，决定闪存资源分配策略以及下一次触发闪存控制器决策的时间；

闪存控制器收集奖励计算中所需的所有因子，计算最后一个状态-动作-权重对的真实Q值，并将真实Q值与Q值逼近值反向输入到深度Q网络进行反向传播在线训练；

闪存控制器将最后一个状态-动作-权重-奖励存储在重放缓冲区中，并随机挑选另一个状态-动作-权重-奖励对在深度-Q-网络中训练。

优选地，根据贪婪策略，进行探索或利用的具体方法为：

定义ε为随机选择动作的概率，初始时将ε设为1来进行贪婪探索，并以0.01为步长线性下降ε值来实现探索和利用的权衡，直至所有状态-动作均探索完成后将ε降至0.01来最大化训练成果利用率。

优选地，所述主机状态包括I/O状态和设备运行状态。

优选地，所述I/O状态包括：I/O流数量、每个流的数据写入量、当前为每个流分配的闪存资源以及每个I/O流内有效页面和无效页面的比率；

设备运行时状态包括：每个通道、芯片的活动状态；每个芯片的磨损状态；每个芯片中无效页面的比例。