[发明专利]一种重要性感知的深度学习数据缓存管理方法和系统

说明书

本发明提供了一种重要性感知的深度学习数据缓存管理方法和系统，本发明将缓存分为两个区域分别存储划分的重要样本和不重要样本，同时设置重要性感知的缓存管理模块和动态打包模块分别应答数据请求并对缓存模块的两个缓存区域进行缓存管理，重要性感知的缓存管理模块把越重要的样本优先缓存在内存中，当缓存满的时候，重要性低的样本先逐出，可以提高缓存命中率。对不重要样本使用异步线程使用异步线程进行打包和缓存，同时当不重要的样本缓存缺失时，使用其他的不重要的样本进行替换。从而保证训练样本的多样性且不引入额外开销。与现有技术相比，本发明对模型训练的精度影响可以忽略不计，并且使DNN训练速度是原来的3倍。

技术领域

本发明属于计算机科学人工智能领域，尤其涉及一种重要性感知的深度学习数据缓存管理方法和系统。

背景技术

如何设计缓存对深度学习的数据读取性能至关重要：

为了训练出预测精度更高的深度神经网络，人们使用的训练数据量越来越大，因此计算结点(compute node)往往无法在内存中存储所有的训练数据，从而导致数据必须存储在慢速大容量的存储设备(如大容量硬盘)或远程的存储服务器中。在训练的过程中，数据必须从慢速设备或者远程读取到内存中，因此数据I/O的过程在该场景下成为深度学习训练过程中的性能瓶颈。

缓存是一种公认的缓解数据I/O访问瓶颈的方法，即将从远程读取的数据缓存在计算结点的内存中，当下次需要读取的时候直接从内存中读取从而加速数据I/O的过程。但是由于缓存空间是很有限的，因此如何设计高效的缓存对提高数据读取过程至关重要。

已有重要性采样算法的研究指出，有些样本由于对神经网络模型的精度提升并没有明显作用(我们称之为“不重要”的样本)，有些样本对神经网络模型的精度提升有明显的作用(我们称之为“重要”的样本)。在传统的训练模式中，每个样本会被等概率训练多次，而引入样本重要性的训练过程中，更高频次去训练重要的样本，更低频次训练不重要的样本也能获得相当的模型精度，并且由于减少了不重要的样本的训练次数，总体的训练时间大大减少。已有研究通过使用这种方法进行AI训练。

尽管使用了重要性采样算法，样本的读取量减少了，但是由于总体的数据量很大，现有的缓存依然不是很高效，使得数据访问的I/O瓶颈依然明显。

发明内容

本发明的目的是为了解决现有技术中使用重要性采样算法进行深度学习的训练减少了数据读取量后的I/O瓶颈问题，提出一种重要性感知的深度学习数据缓存管理方法和系统。本发明采用的技术方案如下：

一种重要性感知的深度学习数据缓存管理系统，应用于采用重要性采样算法的深度学习训练过程中；包括：

包含两个缓存区域的缓存模块，两个缓存区域分别用于存储依据重要性采样算法获得的重要性值划分的重要样本和不重要样本。

缓存管理器，用于应答采用重要性采样算法的深度学习训练过程中的数据请求并对缓存模块的两个缓存区域进行缓存管理，包括：

重要性感知的缓存管理模块，用于应答重要样本的数据请求并对重要样本缓存区域进行缓存管理：先从重要样本的缓存区域中查找请求的重要样本是否存在，若存在，则直接读取并返回，若不存在，则从存储系统中读取缓存于重要样本缓存区域并返回，当重要样本缓存区域缓存空间不足时，依据当前请求的重要样本与重要样本缓存区域中重要性值最小的重要样本的重要性值大小进行缓存更新。

动态打包模块，用于应答不重要样本的数据请求并对不重要样本缓存区域进行缓存管理：从不重要样本的缓存区域查找该不重要样本是否存在，若存在，则直接读取并返回，若不存在，则从不重要样本的缓存区域中随机读取一样本替换请求的不重要样本并返回。所述动态打包模块按需采用异步线程从存储系统中打包划分的不重要样本并缓存于不重要样本的缓存区域，其中，不重要样本缓存区域中的包数k大于等于1。