[发明专利]邮件索引建立方法及系统、邮件搜索方法及系统

说明书

技术领域

本申请涉及网络数据处理领域，特别是涉及邮件索引建立方法及系统、邮件搜索方法及系统。

背景技术

目前，随着互联网通讯越来越普及，越来越多的用户采用邮件进行沟通，而在用户的邮件达到一定数量之后，邮箱检索也越来越处于数据搜索的重要位置。邮箱检索基于邮箱索引的建立，即是对于某个用户来讲，其所有的邮件都会通过邮箱索引进行检索。

现有技术有这样一种邮件索引建立方法，主要采用倒排索引方式建立邮箱索引，例如，有3个邮件文件名为doc_id1，doc_id2，以及doc_id3，其中都包含“hello the world”，则每一个关键词的倒排索引记录就如下所示：

hello-＞doc_id1，doc_id2，doc_id3，

the-＞doc_id1，doc_id2，doc_id3，

world-＞doc_id1，doc_id2，doc_id3；

将上述倒排索引记录存放至倒排索引文件，再记录每个倒排索引记录在倒排索引文件中的偏移位置及长度，并将该偏移位置写入词典文件，写入方式如下所示：

{“hello”：{“file_path″:″/xxx/倒排索引文件″，″offset″:0}}；

假设用户检索包括“hello”的邮件，就能够从词典文件中找出包含该关键词的所有邮件，即找到“/xxx/倒排索引文件”这个地址，然后打开该倒排索引文件读取偏移量“0”的位置，即可以读到{doc_id1，doc_id2，doc_id3}三个邮件。

但是在增加新邮件的时候，为了保证搜索结果的完整性需要更新倒排索引文件。例如增加一封新邮件为doc_id4，该邮件也包含“hello the world”共3个关键字，则此时需要倒排索引记录更新如下：

hello-＞doc_id1，doc_id2，doc_id3，doc_id4，

the-＞doc_id1，doc_id2，doc_id3，doc_id4，

world-＞doc_id1，doc_id2，doc_id3，doc_id4；

而如果把更新后的倒排索引记录存放至倒排索引文件，“the-＞doc_id1，doc_id2，doc_id3，doc_id4”和“world-＞doc_id1，doc_id2，doc_id3，doc_id4”这两个倒排索引记录都需要在倒排索引文件中改变其原本的存储位置，同时也需要修改词典文件里对应的偏移量(offset)值。

所以前述建立倒排索引文件的方式下，当每次增加一个新邮件时，都需要移动倒排索引文件的其他相关数据内容。

发明人在研究过程中发现，基于前述的邮件索引建立方法进行邮箱检索，就需要在整个倒排索引文件中进行关键词的搜索，而随着邮件数据规模的增大，对于亿级别的用户的邮箱服务器来说，如果平均每个用户一千封邮件，那么邮件总数即可达到千亿级别(即和互联网的全网网页规模接近，全网目前有千亿级的网页数量)，就不可避免的会导致对硬盘IO资源的大量占用，也使得无法快速实现对邮箱的索引。进一步的，邮箱服务器对于海量邮件的存储成本也很高，造成大量的存储资源被占用。

发明内容

本申请所要解决的技术问题是，提供一种邮件索引建立方法及系统、邮件搜索方法及系统，以解决按照现有技术中建立索引的方式导致的邮件搜索会导致对硬盘IO资源的大量占用，也使得无法快速实现对邮箱的索引的技术问题，进一步的，还能解决邮箱服务器对于海量邮件的存储成本过高造成的存储资源大量被占用的技术问题。

为解决上述技术问题，本申请实施例提供了一种邮件索引建立方法，该方法包括：

对待建立索引的当前邮件进行分词得到所述当前邮件的关键词；

依据所述当前邮件的关键词更新一级缓存中保存的一级倒排索引记录；

判断所述一级缓存中的一级倒排索引记录的大小是否到达第一预设阈值，如果是，则将所述一级缓存中的所有一级倒排索引记录读取至二级缓存文件中；

判断当前二级缓存文件的大小是否到达第二预设阈值，如果是，则依据路径文件将所述二级缓存文件中的所有二级倒排索引记录读取至三级倒排索引文件，所述路径文件保存关键词与三级倒排索引文件对应的映射关系。