[发明专利]数据处理的方法和存储介质

说明书

本申请公开了一种数据处理的方法和存储介质。其中，该方法包括：从待压缩的数据文件中获取高热度文本块；将高热度文本块替换待压缩的数据文件进行存储。本发明解决了由于采用普通压缩技术，导致的压缩后的数据对存储空间的需求仍旧很大的技术问题。

技术领域

本申请涉及互联网技术应用领域，具体而言，涉及一种数据处理的方法和存储介质。

背景技术

在互联网行业的延伸过程中，越来越多的行业与互联网相联系，随之而来的是大量数据的产生，尤其是企业级别的，日常业务的产生、执行、存档均会带来大量的数据，而用于调用数据的数据库以及用于存储数据的存储空间在生成日志的时候，均采用SQL语句作为调用指令或管理日志，但是SQL语句占用的字节多，需要占用的存储空间大的问题，也越来越困扰企业数据的运维人员。

现有的解决方案中，同过冷数据存储的方式，即，以普通的压缩技术对待存储数据进行压缩，以使得减小待存储数据对存储空间的需求，以便后续存储过程中存储压缩后的数据。但是该现有技术的问题在于，对于待存数据的大量产生，即使数据被压缩，压缩后的数据对存储空间的需求仍旧很大，这就给有限的实际存储空间造成很大的存储压力。

针对上述由于采用普通压缩技术，导致的压缩后的数据对存储空间的需求仍旧很大的问题，目前尚未提出有效的解决方案。

发明内容

本申请实施例提供了一种数据处理的方法和存储介质，以至少解决由于采用普通压缩技术，导致的压缩后的数据对存储空间的需求仍旧很大的技术问题。

根据本申请实施例的一个方面，提供了一种数据处理的方法，包括：从待压缩的数据文件中获取高热度文本块；将高热度文本块替换待压缩的数据文件进行存储。

可选的，高热度文本块为热度大于预设指标热度的文本块，其中，预设指标热度为同组指标的平均引用次数。

可选的，从待压缩的数据文件中获取高热度文本块包括：对待压缩的数据文件进行数据分析，并通过预设算法计算待压缩的数据文件中预设热度排名的文本块；将预设热度排名的文本块确定为高热度文本块。

进一步地，可选的，通过预设算法计算待压缩的数据文件中预设热度排名的文本块包括：在待压缩的数据文件为日志数据表的情况下，从日志数据表中根据预设分词条件进行分词，得到分词后的日志；对分词后的日志进行向量化，将日志转成高维度向量空间；通过预设聚类算法，对至少一个高维度向量空间进行聚类，得到日志相似类集合；根据日志相似类集合生成字典库，并根据字典库与日志相似类集合生成数字日志；通过预设跨度计算不同跨度的卷积块，并根据预设跨度与在数字日志中出现次数的乘积，确定预设排名的高压缩率卷积块；根据字典库格式化编码，还原待压缩的数据文件，得到高热度文本块。

可选的，通过预设聚类算法，对至少一个高维度向量空间进行聚类，得到日志相似类集合包括：在预设聚类算法为K均值聚类算法的情况下，通过K均值聚类算法，对至少一个高维度向量空间进行聚类，得到日志相似类集合。

可选的，根据日志相似类集合生成字典库，并根据字典库与日志相似类集合生成数字日志包括：对日志相似类集合中的各分词进行词频统计，得到字典库；根据字典库与日志相似类集合进行映射，得到数字日志，其中，数字日志用于卷积求和，卷积求和用于确定相似文本块的跨度。

可选的，通过预设跨度计算不同跨度的卷积块，并根据预设跨度与在数字日志中出现次数的乘积，确定预设排名的高压缩率卷积块包括：依据预设跨度，计算不同跨度卷积求和；依据不同跨度和预设跨度对应卷积和在数字日志中出现次数乘积，得到预设排名的高压缩率跨度；依据预设排名的高压缩率跨度计算不同跨度的卷积块，并根据预设排名的高压缩率跨度与在数字日志中出现次数的乘积，确定预设排名的高压缩率卷积块。