[发明专利]一种重要性感知的深度学习数据缓存管理方法和系统

权利要求书

1.一种重要性感知的深度学习数据缓存管理系统，应用于采用重要性采样算法的深度学习训练过程中；其特征在于，包括：

包含两个缓存区域的缓存模块，两个缓存区域分别用于存储依据重要性采样算法获得的重要性值划分的重要样本和不重要样本。

缓存管理器，用于应答采用重要性采样算法的深度学习训练过程中的数据请求并对缓存模块的两个缓存区域进行缓存管理，包括：

重要性感知的缓存管理模块，用于应答重要样本的数据请求并对重要样本缓存区域进行缓存管理：先从重要样本的缓存区域中查找请求的重要样本是否存在，若存在，则直接读取并返回，若不存在，则从存储系统中读取缓存于重要样本缓存区域并返回，当重要样本缓存区域缓存空间不足时，依据当前请求的重要样本与重要样本缓存区域中重要性值最小的重要样本的重要性值大小进行缓存更新。

动态打包模块，用于应答不重要样本的数据请求并对不重要样本缓存区域进行缓存管理：从不重要样本的缓存区域查找该不重要样本是否存在，若存在，则直接读取并返回，若不存在，则从不重要样本的缓存区域中随机读取一样本替换请求的不重要样本并返回。所述动态打包模块按需采用异步线程从存储系统中打包划分的不重要样本并缓存于不重要样本的缓存区域，其中，不重要样本缓存区域中的包数k大于等于1。

2.根据权利要求1所述的缓存管理系统，其特征在于，所述重要性感知的缓存管理模块使用一个最小堆的数据结构对重要样本进行组织管理。其中，最小堆的每个结点是一个键值对，键是样本的重要性值，值是样本的ID。

3.根据权利要求1所述的缓存管理系统，其特征在于，所述缓存管理器采用键值对的结构对样本进行缓存，其中键是样本的ID，值是样本的数据内容。

4.根据权利要求1所述的缓存管理系统，其特征在于，所述缓存模块中，重要样本的缓存区域与不重要样本的缓存区域的空间大小比值为：t：(1-t)。其中，t∈(0,1)为依据重要性采样算法获得的重要性值划分重要样本和不重要样本的阈值。

5.根据权利要求1所述的缓存管理系统，其特征在于，所述重要性感知的缓存管理模块定时重新获取样本重要性值并更新。

6.一种基于权利要求1-5所述任一项缓存管理系统的深度学习数据缓存管理方法，其特征在于，具体为：

依据重要性采样算法获得的重要性值划分重要样本和不重要样本并设定缓存模块中两个缓存区域的缓存空间。

所述缓存管理系统应答采用重要性采样算法的深度学习训练过程中的数据请求：

当数据请求为一重要样本时，缓存管理模块先从重要样本缓存区域中查找该重要样本是否存在，若存在，则直接读取并返回，若不存在，则从存储系统中读取并缓存于重要样本缓存区域，当重要样本缓存区域缓存空间不足时，依据当前重要样本与重要样本缓存区域中重要性值最小的重要样本的重要性值大小进行缓存更新。

当数据请求为一不重要样本时，动态打包模块从不重要样本缓存区域查找该不重要样本是否存在，若存在，则直接读取并返回，若不存在，则从不重要样本缓存区域中随机读取一样本替换请求的不重要样本并返回。同时动态打包模块按需采用异步线程从存储系统中打包划分的不重要样本并缓存于不重要样本的缓存区域，其中，不重要样本缓存区域中的包数k大于等于1。