[发明专利]基于大数据量的模糊查询方法、设备以及系统有效
申请号: | 201711136689.0 | 申请日: | 2017-11-16 |
公开(公告)号: | CN107808006B | 公开(公告)日: | 2021-10-26 |
发明(设计)人: | 邢韬;邵一飞;李祥;曹江波 | 申请(专利权)人: | 中国工商银行股份有限公司 |
主分类号: | G06F16/33 | 分类号: | G06F16/33 |
代理公司: | 北京三友知识产权代理有限公司 11127 | 代理人: | 汤在彦;乔媛 |
地址: | 100140 北*** | 国省代码: | 北京;11 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 基于 数据量 模糊 查询 方法 设备 以及 系统 | ||
本发明提供了一种基于大数据量的模糊查询方法、设备以及系统,涉及计算机应用领域。所述方法包括晚间预处理装置进行反向索引数据的管理和缓存数据刷新;日间数据查询装置接收用户键入的模糊查询请求,根据所述模糊查询请求结合所述晚间预处理装置开展数据模糊查询,将查询结果返回给所述用户;日间数据管理装置将所述日间查询装置得到的查询结果进行缓存,并对所述查询结果进行管理。本发明通过反向索引预处理、查询结果缓存管理方式,避免了在大数据量时进行全表扫描,提升了数据模糊查询效率,解决了高并发、大数据场景下,直接通过数据库模糊查询的效率问题。
技术领域
本发明关于计算机应用领域,具体的讲是一种基于大数据量的模糊查询方法、基于大数据量的模糊查询系统、计算机设备以及计算机可读存储介质。
背景技术
本部分旨在为权利要求书中陈述的本发明的实施方式提供背景或上下文。此处的描述不因为包括在本部分中就承认是现有技术。
计算机软件领域中,在输入项上提供模糊查询功能是提高系统易用性的一种方式。通常,对于小数据量的数据模糊查询,可直接通过数据库来实现。这种方式的一个弊端在于其无法避免全表扫描。以oracle为例,一般通过like‘%keyword%’的方式实现。传统的模糊查询方式(即通过前后%,like语句直接在oracle中直接查询),在数据量上达到30万左右时,查询时间基本要400毫秒,当数据量达到1000万时,耗时更久。
对于传统的模糊查询方式,当数据量上升到百万级甚至千万级时,直接通过数据库查询的方式将导致数据查询效率低下,不符合用户易用性要求。
因此,如何提供一种新的方案,其能够解决上述技术问题是本领域亟待解决的技术难题。
发明内容
有鉴于此,本发明提供了一种基于大数据量的模糊查询方法、基于大数据量的模糊查询系统、计算机设备以及计算机可读存储介质,通过反向索引预处理、查询结果缓存管理方式,避免了在大数据量时进行全表扫描,提升了数据模糊查询效率,解决了高并发、大数据场景下,直接通过数据库模糊查询的效率问题。
为了实现上述目的,本发明提供了一种基于大数据量的模糊查询方法,所述方法包括:
晚间预处理装置进行反向索引数据的管理和缓存数据刷新;
日间数据查询装置接收用户键入的模糊查询请求,根据所述模糊查询请求结合所述晚间预处理装置开展数据模糊查询,将查询结果返回给所述用户;
日间数据管理装置将所述日间查询装置得到的查询结果进行缓存,并对所述查询结果进行管理。
本发明的目的之一是,提供了一种基于大数据量的模糊查询系统,所述系统包括晚间预处理装置、日间数据查询装置以及日间数据管理装置,
其中,所述晚间预处理装置,用于进行反向索引数据的管理和缓存数据刷新;
所述日间数据查询装置,用于接收用户键入的模糊查询请求,根据所述模糊查询请求结合所述晚间预处理装置开展数据模糊查询,将查询结果返回给所述用户;
所述日间数据管理装置,用于将所述日间查询装置得到的查询结果进行缓存,并对所述查询结果进行管理。
本发明的目的之一是,提供了一种计算机设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现所述基于大数据量的模糊查询方法。
本发明的目的之一是,提供了一种计算机可读存储介质,所述计算机可读存储介质存储有执行所述基于大数据量的模糊查询方法。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于中国工商银行股份有限公司,未经中国工商银行股份有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201711136689.0/2.html,转载请声明来源钻瓜专利网。
- 上一篇:人力资源数据的处理方法、装置及存储介质
- 下一篇:信息处理方法和装置