[发明专利]基于大数据量的模糊查询方法、设备以及系统

权利要求书

1.一种基于大数据量的模糊查询系统，其特征是，所述系统包括晚间预处理装置、日间数据查询装置以及日间数据管理装置，

其中，所述日间数据查询装置，用于接收用户键入的模糊查询请求，根据所述模糊查询请求结合所述晚间预处理装置开展数据模糊查询，将查询结果返回给所述用户；

所述晚间预处理装置，用于进行反向索引数据的管理和缓存数据刷新；

所述日间数据管理装置，用于将所述日间数据查询装置得到的查询结果进行缓存，并对所述查询结果进行管理；

所述晚间预处理装置包括反向索引生成单元、索引数据存储单元、数据刷新任务划分单元、数据刷新任务领取单元、数据重查单元和数据缓存单元，

其中，所述反向索引生成单元，用于对待查询数据按照反向索引生成反向索引数据；

所述索引数据存储单元，用于将所述反向索引数据存储到第一缓存中，所述第一缓存为Set结构；

所述数据刷新任务划分单元，用于将历史查询条件数据按照查询时间进行排序，对排序后的历史查询条件数据按照预先设定的值进行定长划分得到数据刷新任务，并将所述数据刷新任务存储到第二缓存中，所述第二缓存为scoredset结构；

所述数据刷新任务领取单元，用于从所述第二缓存中获取数据刷新任务，提交给所述数据重查单元；

所述数据重查单元，用于根据所述数据刷新任务中的查询条件，查询所述第一缓存中的反向索引数据得到索引关键字段，根据所述索引关键字段到关系数据库中快速查询，得到数据重查结果；

所述数据缓存单元，用于将所述数据重查结果组装成Value结构，并将组装后的数据重查结果保存至第三缓存。

2.根据权利要求1所述的系统，其特征是，所述日间数据查询装置包括查询路由单元、反向索引查询单元、Redis数据查询单元和Oracle数据查询单元，

其中，所述查询路由单元，用于根据用户输入的模糊查询请求对应的模糊查询条件检查所述第三缓存中是否存在历史查询数据，当所述第三缓存中存在所述模糊查询条件对应的历史查询记录时，执行所述Redis数据查询单元，否则执行所述反向索引查询单元；

所述Redis数据查询单元，用于将所述模糊查询请求组装成存储结构Field，根据组装后的模糊查询请求查询所述第三缓存得到查询结果，将所述查询结果返回给所述用户；

所述反向索引查询单元，用于根据所述模糊查询条件查询得到关键字，根据所述关键字查询所述第一缓存，得到满足所述模糊查询条件的数据索引字段值集合；

所述Oracle数据查询单元，用于根据所述数据索引字段值集合中的数据在Oracle中进行数据查询得到查询结果，将所述查询结果返回给所述用户。

3.根据权利要求2所述的系统，其特征是，所述日间数据查询装置包括还包括控制联动单元，用于向所述日间数据管理装置发送触发信息，以便进行日间数据管理。

4.根据权利要求3所述的系统，其特征是，所述日间数据管理装置包括缓存时间更新单元和查询结果缓存管理单元，

其中，所述缓存时间更新单元，用于接收所述控制联动单元发送的触发信息，当所述触发信息显示所述查询结果由所述Redis数据查询单元输出时，将第四缓存中的模糊查询条件对应Member的score值进行修改；当所述触发信息显示所述查询结果由所述Oracle数据查询单元输出时，在所述第三缓存中增加模糊查询条件和查询结果的对应关系，在所述第四缓存中增加模糊查询条件Member信息，所述第四缓存为scoredset结构；

所述查询结果缓存管理单元，用于定时间间隔检查所述第四缓存中的总记录，当所述总记录数大于第一预设值时，将第二预设值作为步长，从所述第四缓存中循环删除score最小的数据。