[发明专利]一种分布式实时全文检索方法及系统

权利要求书

1.一种分布式实时全文检索方法，其特征在于，包括：

步骤1，索引分发服务器向索引节点服务器发送源数据并请求建立索引，由所述索引节点服务器为所述源数据建立对应的索引数据，将所述索引数据存入本地缓存并备份至分布式文件系统；

步骤2，搜索分发服务器根据用户的查询语句，分发查询指令到各搜索节点服务器，所述搜索节点服务器在所述本地缓存及所述分布式文件系统中查询与所述查询语句对应的查询数据并将查询结果返回给所述搜索分发服务器，同时修改所述查询数据的热度值；

其中，当所述查询数据存在于所述本地缓存且其热度值低于规定值时，将所述查询数据从所述本地缓存中删除，当所述查询数据存在于所述分布式文件系统且其热度值高于规定值时，将所述查询数据添加到所述本地缓存中。

2.根据权利要求1所述的分布式实时全文检索方法，其特征在于，还包括：

步骤3，当所述查询数据既不存在于所述本地缓存也不存在于所述分布式文件系统中时，通知所述索引分发服务器需要建立索引，并跳到所述步骤1。

3.根据权利要求1所述的分布式实时全文检索方法，其特征在于，

所述步骤1还包括：

步骤11，所述索引节点服务器判断接收到的所述源数据所对应的索引数据是否已存在，若存在，则通知所述索引节点服务器，若不存在，则在本地缓存中为所述源数据建立对应的索引数据，建立完毕后备份到分布式文件系统上，然后向分发服务器汇报索引建立完毕；

步骤12，所述索引节点服务器与所述搜索节点服务器通讯，检查所建立的索引数据的使用频率，利用LRU算法管理所述本地缓存中的索引数据和所述分布式文件系统上备份的索引数据。

4.根据权利要求1或2所述的分布式实时全文检索方法，其特征在于，

所述步骤2还包括：

步骤21，所述搜索节点服务器收到所述查询指令后，先查询所述本地缓存中是否存在所述查询数据，若存在，则将查询结果返回所述给搜索分发服务器，同时修改所述查询数据的热度值，若不存在，则执行步骤22；

步骤22，所述搜索节点服务器查询所述分布式文件系统中是否存在所述查询数据，若存在，则将查询结果返回所述给搜索分发服务器，并异步非阻塞式所述本地缓存中的相应的索引数据，修改其热度值，若不存在，则执行所述步骤3。

5.根据权利要求1～3中任一项所述的分布式实时全文检索方法，其特征在于，

所述分布式搜索服务器规约各索引节点服务器和各搜索节点服务器的搜索结果。

6.一种分布式实时全文检索系统，其特征在于，包括：

一索引分发服务器，用于发送源数据并请求建立索引，

多个索引节点服务器，用于接收所述索引分发服务器发送的源数据和请求，为所述源数据建立对应的索引数据，将所述索引数据存入本地缓存并备份至分布式文件系统；

一搜索分发服务器，用于根据用户的查询语句，分发查询指令；

多个搜索节点服务器，用于接收所述搜索分发服务器发送的所述查询指令，并在所述本地缓存及所述分布式文件系统中查询与所述查询语句对应的查询数据并将查询结果返回给所述搜索分发服务器，同时修改所述查询数据的热度值；

其中，当所述查询数据存在于所述本地缓存且其热度值低于规定值时，将所述查询数据从所述本地缓存中删除，当所述查询数据存在于所述分布式文件系统且其热度值高于规定值时，将所述查询数据添加到所述本地缓存中。

7.根据权利要求6所述的分布式实时全文检索系统，其特征在于，

当所述查询数据既不存在于所述本地缓存也不存在于所述分布式文件系统中时，所述搜索节点服务器还用于，通知所述索引分发服务器需要建立索引。

8.根据权利要求6所述的分布式实时全文检索系统，其特征在于，

所述索引节点服务器还用于，

判断接收到的所述源数据所对应的索引数据是否已存在，若存在，则通知所述索引节点服务器，若不存在，则在本地缓存中为所述源数据建立对应的索引数据，建立完毕后备份到分布式文件系统上，然后向分发服务器汇报索引建立完毕；

与所述搜索节点服务器通讯，检查所建立的索引数据的使用频率，利用LRU算法管理所述本地缓存中的索引数据和所述分布式文件系统上备份的索引数据。