[发明专利]一种基于网络字典的无损数据压缩方法

说明书

技术领域

本发明涉及一种无损数据压缩方法，特别是一种基于网络字典 的无损数据压缩方法。

技术背景

压缩技术大致可以分为有损压缩和无损压缩，有损压缩通常用 于多媒体数据压缩，而无损压缩则通常用于通用数据压缩，无损压缩 又可分为基于统计模型的压缩方法和基于字典模型的压缩方法，前者 的代表为Huffman编码和算术编码，后者的代表为LZ77、LZ78、LZW 等。现在市面上流行的通用无损压缩软件通常采用基于字典的压缩方 法，例如ZIP、LHarc、ARJ等，然而这些压缩算法的字典均为本地 基于源文件而生成的，现有的基于字典的压缩方法，其字典无论是静 态字典还是动态生成，均处在本地，通常压缩效率有限。

发明内容

本发明其目的就在于提供一种基于网络字典的无损数据压缩 方法，可以有效提升压缩效率，极限情况下压缩效率接近100％。

实现上述目的而采取的技术方案，包括网络字典，所述网络字 典包括包含文件名称、文件内容、文件全文经过报文摘要算法生成的 定长报文摘要文件或文件名称、文件总块数、当前文件块编号和将文 件经过定长或变长的分割生成的文件块；客户端将所述定长报文摘要 文件传回服务器与网络字典中各表项进行逐项按位比对，或将所述文 件块与服务器端网络字典中各表项文件块进行按位比对；所述定长报 文摘要文件传回服务器与网络字典中各表项进行逐项按位比对未发 现匹配项，则上传文件名、文件全文，按照网络字典构成规范建立网 络字典中新的表项，返回新表项的表项编号；所述文件块与服务器端 网络字典中各表项文件块进行按位比对发现匹配项则返回网络字典 中匹配结果的表项编号，未发现匹配项，则上传文件名称、文件总块 数、当前文件块编号和将文件经过定长或变长的分割生成的文件块， 建立网络字典中新的表项，返回新表项的表项编号。

具体实施方式

包括网络字典，所述网络字典包括包含文件名称、文件内容、文 件全文经过报文摘要算法生成的定长报文摘要文件或文件名称、文件 总块数、当前文件块编号和将文件经过定长或变长的分割生成的文件 块；客户端将所述定长报文摘要文件传回服务器与网络字典中各表项 进行逐项按位比对，或将所述文件块与服务器端网络字典中各表项文 件块进行按位比对；所述定长报文摘要文件传回服务器与网络字典中 各表项进行逐项按位比对未发现匹配项，则上传文件名、文件全文， 按照网络字典构成规范建立网络字典中新的表项，返回新表项的表项 编号；所述文件块与服务器端网络字典中各表项文件块进行按位比对 发现匹配项则返回网络字典中匹配结果的表项编号，未发现匹配项， 则上传文件名称、文件总块数、当前文件块编号和将文件经过定长或 变长的分割生成的文件块，建立网络字典中新的表项，返回新表项的 表项编号。

本发明是基于网络字典的无损数据压缩方法，现有的基于网络 字典的压缩方法，其字典无论是静态字典还是动态生成，均处在本地。 本压缩方法的不同点关键在于有专用的服务器保存了各种类型的字 典，并建立了字典索引或者字典地址列表。

其工作原理如下：建立专用的服务器用以保存全文网络字典、 分块字典以及摘要等信息，针对全文压缩时，将欲压缩之源文件经过 报文摘要算法，生成定长摘要，传至服务器与服务器摘要进行对比， 如匹配则以服务器中数据的索引作为压缩结果返回；针对分块文档压 缩时，将欲压缩之分块与服务器端分块网络字典进行比对，找出相似 度最大之数据，然后返回此数据索引并将差分值以现有压缩方法压缩 后发回客户端。这两种方法结合，可以有效提升压缩效率，

实施例

压缩方法一：因为许多文件有太多的副本，所以以文件为单位定义网 络字典，则压缩的时间效率和空间效率会高很多，具体实现时可以采 用报文摘要算法将原文件形成定长摘要，与服务器端进行比对，如果 二者相同，则可以建立一一对应关系。

其压缩过程描述如下：

①客户端对源文件进行报文摘要算法，生成定长摘要；

②客户端将摘要或者摘要+文件名传输至服务器端；

③服务器端将摘要或者摘要+文件名与摘要字典进行匹配，其中摘要 进行精确匹配，文件名进行模糊匹配，如果匹配成功，则建立一 一映射，并将映射结果传回客户端，否则转⑤；

④客户端获得文件映射结果，将结果作为压缩文件保存，压缩完毕；