[发明专利]一种数据的预测方法和装置

说明书

本发明提供了一种数据的预测方法和装置，涉及数据处理的技术领域，该方法包括：获取文件访问日志，得到目标序列；对目标序列进行处理，得到目标训练样本和目标测试样本；将目标训练样本和目标测试样本输入到预测模型中，以根据预测模型得到的预测结果，调整预测模型，得到目标预测模型；基于目标预测模型对用户访问请求进行分析，得到预测数据集合，并基于所述预测数据集合的数据量对所述预测数据集合进行缓存。本发明解决了现有技术中存在的当用户进行数据的访问时，分布式存储系统的数据读取效率较低的技术的问题，本发明达到了提升分布式存储系统的数据读取效率的技术效果。

技术领域

本发明涉及数据处理的技术领域，尤其是涉及一种数据的预测方法和装置。

背景技术

一般的文件系统中，块的元数据管理都是由存储的应用程序决定，而每种文件系统都有自己独特的数据分布方式和维持磁盘元数据的数据结构。从海量小文件存储引发的元数据管理问题，对象存储较传统的文件系统进行一定的优化。对象存储采用扁平化命名方式，降低了多级目录组织的索引开销。同时由于采用部分元数据非集中式管理，对象存储减小了主控服务器负载，一定程度上减轻了分布式系统元数据访问瓶颈的问题。但在数据读取和缓存管理方面，对象存储就海量小文件读取效率仍不理想。

针对上述问题，还未提出有效的解决方案。

发明内容

有鉴于此，本发明的目的在于提供一种数据的预测方法和装置，以缓解了现有技术中用户在访问数据时，分布式存储系统的数据读取效率较低的技术问题。

第一方面，本发明实施例提供了一种数据的预测方法，该方法包括：获取文件访问日志，得到目标序列，其中，所述目标序列中包含访问用户的访问信息；对所述目标序列进行处理，得到目标训练样本和目标测试样本；将所述目标训练样本和所述目标测试样本输入到预测模型中，以根据所述预测模型得到的预测结果调整所述预测模型，得到目标预测模型；基于所述目标预测模型对用户访问请求进行分析，得到预测数据，并基于所述预测数据集合的数据量对所述预测数据集合进行缓存，其中，所述预测数据用于表征用户在下一时刻访问的数据集合。

进一步地，对所述文件历史访问序列进行处理，得到目标训练样本数据和目标测试样本数据包括：对所述目标序列进行归类，得到多个子目标序列，其中，所述子目标序列中包括每个用户在不同访问请求下的访问记录；对所述多个子目标序列按照预设比例进行切割，得到所述目标训练样本和所述目标测试样本。

进一步地，对所述目标序列进行归类，得到多个子目标序列包括：按照用户信息对所述目标序列进行分类，得到中间子目标序列，其中，所述中间子目标序列中包括同一用户的多个访问记录；基于所述多个访问记录中任意两个连续访问记录之间的第一时间间隔对所述中间子目标序列进行再次分类，得到所述子目标序列。

进一步地，基于所述多个访问记录中任意两个连续访问记录之间的第一时间间隔对所述中间子目标序列进行再次分类包括：将第一时间间隔所对应的任意两个连续访问记录归为同一个访问请求下的访问记录，其中，所述第一时间间隔为小于第一预设间隔的时间间隔。

进一步地，获取文件访问日志，得到目标序列包括：查询所述文件访问日志的创建时间；计算当前时间与所述创建时间之间的第二时间间隔；如果所述第二时间间隔大于第二预设时间间隔，则将文件访问日志存储至计算节点，从而得到所述目标序列，其中，所述计算节点为文件存储系统中的用于对所述文件访问日志进行处理的节点。

进一步地，将所述目标训练样本和所述目标测试样本输入到预测模型中，以根据所述预测模型得到的预测结果，调整所述预测模型，得到目标预测模型包括：构建所述预测模型；将所述目标训练样本输入所述预测模型中，对所述预测模型进行训练；将所述目标测试样本输入到训练之后的所述预测模型中，得到预测结果；基于所述预测结果，对训练之后的所述预测模型的参数进行调整，得到所述目标预测模型。