[发明专利]近实时搜索服务的优化方法在审
申请号: | 201811580863.5 | 申请日: | 2018-12-24 |
公开(公告)号: | CN109656978A | 公开(公告)日: | 2019-04-19 |
发明(设计)人: | 郝敬全;吴永;李善宝;李庆功;李占强;辛国茂;马述杰 | 申请(专利权)人: | 泰华智慧产业集团股份有限公司 |
主分类号: | G06F16/2458 | 分类号: | G06F16/2458;G06F16/27 |
代理公司: | 北京晟睿智杰知识产权代理事务所(特殊普通合伙) 11603 | 代理人: | 于淼 |
地址: | 250101 山东省济南市高*** | 国省代码: | 山东;37 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 热数据 新数据 索引 冷数据 搜索服务 检索 近实时 单台服务器 动态调整 数据读取 搜索性能 磁盘 创建 优化 耗时 存储 搜索 申请 | ||
1.一种近实时搜索服务的优化方法,其特征在于,包括步骤:
创建SolrCloud,包括步骤:
在服务器的每一块磁盘上创建至少一个Solr实例,其中,所述服务器数量至少为一个,所述Solr实例包括NRT模式的Solr实例和RAM模式的Solr实例;
对所述每一块磁盘上的每一个Solr实例进行命名,并分配内存;
设置热数据集:通过所述RAM模式的Solr实例,将热数据存储到所述热数据集指定的所述服务器内存中;
设置冷数据集:通过所述NRT模式的Solr实例,将冷数据存储到所述冷数据集指定的磁盘或固态硬盘中,同时自动将所述冷数据集中命中次数超过命中阈值的数据缓存到所述服务器内存中;
接收待索引的新数据;
所述待索引的新数据被所述冷数据集处理并存储;
当所述待索引的新数据在所述热数据集中时,则在所述热数据集中进行检索;
当所述待索引的新数据不在所述热数据集中时,则在所述冷数据集中进行检索;
当所述待索引的新数据部分在所述热数据集中时,则在所述热数据集和所述冷数据集中分别进行检索。
2.根据权利要求1所述的近实时搜索服务的优化方法,其特征在于,当所述冷数据集中的冷数据被搜索或命中的次数超过所述命中阈值时,则将所述冷数据从所述冷数据集中添加到所述热数据集中;
当所述热数据集中的热数据超过时间阈值还未被搜索、或者命中次数低于次数阈值时,则将所述热数据从所述热数据集中剔除。
3.根据权利要求1所述的近实时搜索服务的优化方法,其特征在于,在所述冷数据集中进行检索,进一步为,在所述冷数据集中定位所述待索引的新数据所在的子冷数据集,在所述子冷数据集中行检索。
4.根据权利要求1所述的近实时搜索服务的优化方法,其特征在于,所述热数据为被搜索或命中次数超过所述命中阈值的数据。
5.根据权利要求1所述的近实时搜索服务的优化方法,其特征在于,所述冷数据为低于所述时间阈值未被搜索、或者命中次数低于所述次数阈值的数据。
6.根据权利要求1所述的近实时搜索服务的优化方法,其特征在于,所述冷数据集为全量数据集,包括热数据集。
7.根据权利要求1所述的近实时搜索服务的优化方法,其特征在于,所述每一块磁盘的总内存相等。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于泰华智慧产业集团股份有限公司,未经泰华智慧产业集团股份有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201811580863.5/1.html,转载请声明来源钻瓜专利网。