[发明专利]一种哈希表滚动查找方法、系统及芯片

说明书

本发明提供一种哈希表滚动查找方法、系统及芯片。其中该方法包括将已压缩历史数据和待压缩数据均调入到压缩核并分别对应组装及更新到线性移位寄存窗和待压缩数据窗；将待压缩数据窗中的数据进行哈希计算并根据计算结果滚动建立第一数组，第一数组存有待压缩的键值；将线性移位寄存窗在历史数据缓冲器中依次往后流水滚动并通过哈希计算构建第二数组，第二数组存有搜寻的历史窗中与第一数组中待压缩键值的哈希计算结果相同的键值的位置；将第一数组与第二数组进行流水并行一级模糊匹配，得到一级模糊匹配的可能最大候选位置；再基于历史数据缓冲器和待压缩数据窗进行第二级流水精准匹配，得到二级精准匹配候选位置，即最大字串匹配结果。

技术领域

本发明属于软件线程数据处理领域，尤其涉及一种哈希表滚动查找方法、系统及芯片。

背景技术

本部分的陈述仅仅是提供了与本发明相关的背景技术信息，不必然构成在先技术。

传统设计基于软件线程的hash查询压缩方法，其压缩速度慢、硬件实现借助于采用的CPU处理器、整体的架构决定于采用的CPU以及对应周围外设的固定第三方硬件平台，软件hash数据压缩需要消耗大量的CPU周期，压缩速度决定于CPU的最快固有频率，并且hash压缩线程将会占用CPU处理时间片。即传统软件hash压缩处理方法，不方便应用于追求高速、实时的面向物联网IoT(Internet of Things)应用的数据压缩处理场景或相应的数据压缩嵌入式硬件设备、硬件系统，以及由此类嵌入式硬件构建的硬件底层平台。同时，传统hash软件压缩处理线程，不具有IP自适应移植到硬件SoC的能力；软件hash处理不能满足实时压缩/解压的低延迟需求。

发明内容

为了解决上述背景技术中存在的技术问题，本发明提供一种哈希表滚动查找方法、系统及芯片，其能够降低压缩历史数据搜寻及匹配的处理时间代价，使得压缩率不损失。

为了实现上述目的，本发明采用如下技术方案：

本发明的第一个方面提供一种哈希表滚动查找方法。

一种哈希表滚动查找方法，其包括：

将已压缩历史数据和待压缩数据均调入到压缩核并分别对应组装及更新到线性移位寄存窗和待压缩数据窗；

将待压缩数据窗中的数据进行哈希计算并根据计算结果滚动建立第一数组，所述第一数组存储有待压缩的键值；

将线性移位寄存窗在历史数据缓冲器中依次往后流水滚动，并通过哈希计算构建第二数组，所述第二数组存储有搜寻的历史窗中与第一数组中待压缩键值的哈希计算结果相同的键值的位置；

将第一数组与第二数组进行流水并行一级模糊匹配，得到一级模糊匹配的可能最大候选位置；

对于第一级匹配结果，基于历史数据缓冲器和待压缩数据窗进行第二级流水精准匹配，得到二级精准匹配候选位置，即最大字串匹配结果。

本发明的第二个方面提供一种哈希表滚动查找系统。

一种哈希表滚动查找系统，其包括：

数组组装更新模块，其用于将已压缩历史数据和待压缩数据均调入到压缩核并分别对应组装及更新到线性移位寄存窗和待压缩数据窗；

待压缩数据哈希计算模块，其用于待压缩数据窗中的数据进行哈希计算并根据计算结果滚动建立第一数组，所述第一数组存储有待压缩的键值；

已压缩历史数据哈希计算模块，其用于将线性移位寄存窗在历史数据缓冲器中依次往后流水滚动，并通过哈希计算构建第二数组，所述第二数组存储有搜寻的历史窗中与第一数组中待压缩键值的哈希计算结果相同的键值的位置；

一级模糊匹配模块，其用于将第一数组与第二数组进行流水并行一级模糊匹配，得到一级模糊匹配的可能最大候选位置；