[发明专利]一种搜索信息的方法、装置和终端

权利要求书

1.一种搜索信息的方法，其特征在于，包括：

从网页采集源采集网页信息；

根据采集的网页信息，建立信息资料库；

根据客户端发送的搜索请求，在所述信息资料库中进行搜索；

将搜索结果推送到所述客户端进行显示。

2.如权利要求1所述的方法，其特征在于，所述从网页采集源采集网页信息，包括：

当所述网页采集源为选定的网站时，根据预先配置的采集任务采用网络爬虫采集网页信息；

当所述网页采集源为通过搜索引擎搜索的网页时，采用预先配置的搜索规则搜索网页，并采集网页信息；

其中，所述采集任务包括：欲采集的网站名称、采集时的起始链接地址、采集的深度和刷新策略；所述网页信息包括：元数据和正文。

3.如权利要求1所述的方法，其特征在于，所述根据采集的网页信息，建立信息资料库，包括：

将采集的网页信息处理为采集结果文件并缓存；

对所述采集结果文件进行自然语言处理，提取关键词和摘要；

存储所述网页信息、以及所述关键词和摘要，建立信息资料库。

4.如权利要求3所述的方法，其特征在于，提取关键词和摘要之后，还包括：基于语料库信息，采用文本分类模型对所述采集结果文件进行自动分类处理。

5.如权利要求3所述的方法，其特征在于，所述提取关键词和摘要之后，还包括：基于垃圾词汇表，对采集结果文件进行信息过滤。

6.如权利要求3所述的方法，其特征在于，存储所述网页信息、以及所述关键词和摘要，建立信息资料库，包括：

将所述采集的网页信息中的元数据、及提取的关键词和摘要信息存储到网页库；

将所述采集的网页信息中的正文以文件的形式存储到文件库中；

将所述元数据、提取的关键词和摘要信息、以及正文作为搜索时使用的信息资料库资源。

7.如权利要求6所述的方法，其特征在于，还包括：

建立全文检索渐进表；

在所述全文检索渐进表中记录网页信息中的元数据、提取的关键词和摘要信息、以及所述网页信息的关键数据项；

所述关键数据项包括：该网页信息存储的唯一键值、索引建立方式和网页信息中正文的存储路径。

8.如权利要求7所述的方法，其特征在于，所述全文检索渐进表中新增网页信息的记录后，读取所述网页信息的记录，获取网页信息的唯一键值，根据正文的存储路径读取正文；对所述正文进行分词处理，根据分词处理结果建立索引。

9.如权利要求1所述的方法，其特征在于，所述根据客户端发送的搜索请求，在所述信息资料库中进行搜索，包括：

接收所述客户端发送的搜索请求；

分析所述搜索请求携带的搜索请求规则，建立用于搜索的语法树；

根据所述语法树，在所述信息资料库中搜索匹配的网页信息。

10.如权利要求1所述的方法，其特征在于，还包括：

对所述搜索结果进行敏感信息检测；

当敏感信息的数目或者增长率超过阈值时，向所述客户端发送预警信息。

11.如权利要求1所述的方法，其特征在于，还包括：

对所述搜索结果中的网页信息进行聚类分析；

对所述搜索结果中的网页信息中的标题和正文，进行相似度匹配；

将相似度达到相似度阈值的网页信息中发布时间最早的网页信息作为原始信息；

获取与所述原始信息相似度达到相似度阈值的网页信息中发布时间最早的网页信息作为第一级信息；

获取与所述第一级信息相似度达到相似度阈值的网页信息中发布时间最早的网页信息作为第二级信息；

以此类推，直到所述相似度未达到相似度阈值，将各级信息按照级别顺序构成传播路径。

12.如权利要求1所述的方法，其特征在于，还包括：根据资料库中的网页信息中的元数据的变化值，确定出网页信息趋势曲线。

13.如权利要求1所述的方法，其特征在于，还包括：

所述客户端在所述搜索结果中选择任一网页信息进行显示时，在信息资料库中获取与当前选择的网页信息关联度超过关联阈值的网页信息，并推送到所述客户端。