[发明专利]结构化信息快速检索方法及系统

说明书

【技术领域】

本发明涉及一种快速检索方法及系统。

【背景技术】

结构化信息是信息格式固定，可以存储在数据库中，可用二维表逻辑来表达的信息。常见的结构化信息的检索包括数据库检索方式以及类似GOOGLE和百度的搜索引擎技术。数据库检索虽然能够准确地查询出我们需要的信息；但随着数据量的激增，在高效性上遇到了瓶颈，响应速度慢，经常无响应。而搜索引擎获取的信息是及时高效的，但准确性不高。信息量越大，用搜索引擎查找信息在准确性上也随之降低了。安全事件属于结构化信息中的一种，目前没有一种准确高效的检索方法。

【发明内容】

本发明要解决的技术问题之一，在于提供一种结构化信息快速检索方法，采用分片再合并的方式处理数据，可以大为提高检索的效率及准确性。

本发明要解决的技术问题之二，在于提供一种结构化信息快速检索系统，采用分片再合并的方式处理数据，可以大为提高检索的效率及准确性。

本发明要解决的技术问题之一是这样实现的：一种结构化信息快速检索方法，包括如下步骤：

步骤10、预处理：先对结构化信息的数据源进行预处理，并生成索引文件；所述预处理是抽取相同类型的结构化信息的公共信息，并在生成索引文件是对不同主机传递过来的相同类型的结构化信息的差异化数据进行单独处理；所述索引文件的生成方式是采用多线程的方式来不断地产生不同的索引片，生成小索引文件，然后定量或定期地把小索引文件合并到一个大索引文件中；

步骤20、数据分析：对所述大索引文件的域转换为最基本的索引表示单元项，这些索引表示单元项是用于决定匹配查询条件的信息；

步骤30、建立索引并入库：所述大索引文件的数据经分析后分级建立索引，再按顺序进行存储；

步骤40、查询：用户输入查询条件；

步骤50、解析：对用户输入的查询条件进行解析，即对用户输入的查询条件对应的每个查询项解析成索引表示单元项；

步骤60、索引：利用步骤50所得的索引表示单元项进行索引；

步骤70、返回结果：将索引的结果集返回给用户。

进一步的，所述步骤20中的对所述大索引文件的域转换为最基本的索引表示单元项是通过将字符流单元化，所述字符流单元化包括提取所述查询条件中的关键字、对时间信息、IP信息进行数据格式转换以及将用户输入的字母大小写规范化。

进一步的，步骤30中，建立索引时先判断结构化信息的类型和发生时间，分级建立索引，存储时按所述发生时间进行倒排索引进行存储。

本发明要解决的技术问题之二是这样实现的：一种结构化信息快速检索系统，包括：

预处理模块：用于对结构化信息的数据源进行预处理，并生成索引文件；所述预处理是抽取相同类型的结构化信息的公共信息，并在生成索引文件是对不同主机传递过来的相同类型的结构化信息的差异化数据进行单独处理；所述索引文件的生成方式是采用多线程的方式来不断地产生不同的索引片，生成小索引文件，然后定量或定期地把小索引文件合并到一个大索引文件中；

数据分析模块：用于对所述大索引文件的域转换为最基本的索引表示单元项，这些索引表示单元项是用于决定匹配查询条件的信息；也用于对用户输入的查询条件进行解析，即对用户输入的查询条件对应的每个查询项解析成索引表示单元项；

建立索引模块：用于在大索引文件的数据经分析后分级建立索引；

索引库：用于按顺序存储建立好的索引的数据；

查询模块：供用户输入查询条件；

索引模块：利用数据分析模块对用户输入的查询条件进行解析所得的索引表示单元项在所述索引库中进行索引；

返回结果模块：将索引的结果集返回给用户。

进一步的，所述数据分析模块在对所述大索引文件的域转换为最基本的索引表示单元项是通过将字符流单元化，所述字符流单元化包括提取所述查询条件中的关键字、对时间信息、IP信息进行数据格式转换以及将用户输入的字母大小写规范化。

进一步的，所述建立索引模块是建立索引时先判断结构化信息的类型和发生时间，分级建立索引；所述索引库存储时按所述结构化信息的发生时间进行倒排索引进行存储。

本发明具有如下优点：

本发明一方面通过预先建立颗粒度较小的索引文件，然后对这些小索引文件进行合并为大索引文件；另一方面通过分级建立索引之后进行存储，能极大提高检索的效率，与从数据库中检索提高1~2个数量级并且不会随着安全事件等结构化信息数量级的增加而急剧降低。