[发明专利]一种大幅压缩数据库体积的方法、系统、终端设备和可读存储介质

说明书

本发明公开了一种大幅压缩数据库体积的方法、系统、终端设备和可读存储介质，包括以下步骤：S1.遍历所有树，提取所有节点名称和叶子节点的值；S2.对节点名称出现的频次进行统计，得到词频表；S3.词频表按词频由高到低排序；S4.根据降序排列的词频表创建最优树；S5.保存词频表、最优树和所有节点的最优树路径。本发明通过对原始数据中重复出现的节点名称字段进行排序，按照排序后的词频表建立最优树，将原始数据采用最优树结构存入数据库，并将词频表存入数据库，实现大幅压缩数据库体积。本发明与现有技术相比优点在于采用最优编码，将节点名称字段按照出现的频次采用降序排列，能够最大限度地缩小整个数据库的体积。

技术领域

本发明涉及领域，主要涉及一种大幅压缩数据库体积的方法、系统、终端设备和可读存储介质。

背景技术

嵌入式软件产品中，由于成本限制，存储空间有限，同时对软件性能又有较高要求，所以既需要使用数据库来保证数据的读写性能，又需要数据库所占空间尽量少。因此需要一种兼顾软件执行效率与节省存储空间的压缩数据库体积的方法。

传统数据库在存储数据的时候，如果为保证效率，不使用压缩技术对原始数据进行处理，那么在数据量大的时候，数据库的空间占用会比较高；如果为节省空间，使用一些数据压缩技术将原始数据压缩后再进行存储，纵使可以缩减数据的空间占用，但由于压缩技术本身的处理过程比较耗时耗力，致使数据库在整体效率方面大打折扣。

目前方法存在的问题：将树型结构的数据导入到数据库时，数据库体积和读写性能之间无法兼顾。

发明内容

本发明的目的在于，针对上述问题，提出一种大幅压缩数据库体积的方法、系统、终端设备和可读存储介质。

本发明的发明目的是通过以下技术方案来实现的：一种大幅压缩数据库体积的方法，包括以下步骤：

S1：遍历所有树，提取所有节点名称和叶子节点的值；

S2：对节点名称出现的频次进行统计，得到词频表；

S3：词频表按词频由高到低排序；

S4：根据降序排列的词频表创建最优树；

S5：保存词频表、最优树和所有节点的最优树路径。

其中，所述的步骤S3，具体为通过每个节点名称出现的词频由高到低排序，再对每个节点名称进行编码。

一种大幅压缩数据库体积的系统，包括：

压缩模块，通过对节点名称排序、编码、创建最优树，对数据进行压缩；其中，所述的压缩模块还包括，

统计模块，通过节点名称出现的词频进行统计，并根据词频由高到低进行排序；

编码模块，通过统计模块对词频的排序，对节点名称进行编码，并创建最优树。

其中，所述的系统还包括采集模块和存储模块，所述的采集模块采集原始数据，并将数据通过遍历，提取节点名称；所述的存储模块，将压缩模块中的压缩数据保存至数据库中；所述的压缩数据，包括编码模块中的词频表、最优树与所有节点的最优树路径。

一种大幅压缩数据库体积的终端设备，所述的终端设备包括：一个或多个处理器；存储装置，用于存储一个或多个程序；当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现上述的一种大幅压缩数据库体积的方法。

一种大幅压缩数据库体积的计算机可读存储介质，所述计算机可读存储介质上存储有指令，该指令被处理器执行时实现上述的一种大幅压缩数据库体积的方法。

本发明的有益效果：

(1)解决了树形结构数据在导入数据库时空间占用过大的问题；