[发明专利]一种基于ElasticSearch全文检索的文件索引系统及方法

说明书

本发明公开了一种基于ElasticSearch全文检索的文件索引系统及方法，其中系统包括用户操作管理模块、文件系统管理模块、文件系统、ElasticSearch集群模块、数据库系统和ElasticSearch客户端模块，系统对文件内容的检索将是完全实时的，任意时刻的检索结果都不会有过时和错误，同时有效减少ElasticSearch在执行文件系统全文检索时造成的资源浪费；而且所述的方法能实现文件与ElasticSearch之间的双向交流，支持检索结果所在文件的路径的获取，以及对命中文件执行更多的操作。

技术领域

本发明涉及软件检索系统及方法，具体涉及一种基于ElasticSearch全文检索的文件索引系统及方法。

背景技术

目前全世界两大主流全文检索工具分别是solr和Elasticsearch，它们都使用Lucene框架作为搜索引擎核心，但针对的场景不同，solr主要应用于数据格式多样、数据内容更新频率低的场景，而Elasticsearch应用于数据格式单一、数据内容更新频繁的场景，Elasticsearch相比较solr查询索引速度相对慢一些，但是创建索引的速度要明显高于solr，而对于文件系统这种经常存在频繁更新的场景，选用Elasticsearch可以达到快速更新索引的目的，但由于Elasticsearch只支持json格式的数据输入，并且索引字段在索引创建后不允许修改，这给针对文件系统构建索引系统的应用带来了一些应用上的麻烦，目前应用的技术尚存在许多不足：

1、目前针对文件系统使用全文检索工具ElasticSearch进行索引查询应用仅能对文件内容进行索引和显示，无法向文件系统管理程序反馈文件的路径信息，以便管理程序可以对检索的结果所属的文件执行各种管理操作；

2、目前使用全文检索工具ElasticSearch对文件系统进行索引查询是准实时或非实时的，无法做到实时，即文件系统有文件更新时，检索结果立刻体现这种更新，始终保持两者同步和一致性；

3、目前使用全文检索工具ElasticSearch对文件系统进行索引查询时存在多个数据副本，造成了存储资源浪费。

发明内容

发明目的：本发明目的是提供一种基于ElasticSearch全文检索的文件索引系统及方法，其中系统可实现对目录和文件执行增删改查、重命名、移动位置后实时在检索中保持结果一致性；所述的方法能向文件系统管理模块反馈文件的路径信息，以便对检索的结果所属的文件执行各种管理操作。

技术方案：本发明一种基于ElasticSearch全文检索的文件索引系统，包括：

用户操作管理模块，用于接收用户检索请求并发送至文件系统管理模块，以及从文件系统管理模块接收搜索到的文件url值；

文件系统，用于存储和管理文件与目录；

ElasticSearch集群模块，用于执行用户检索请求中的关键词检索，并返回检索结果给ElasticSearch客户端模块；

数据库系统，用于存储文件属性信息；

文件系统管理模块，与所述用户操作管理模块及所述文件系统连接，用于处理用户检索请求时，将用户检索请求中的关键词传送给ElasticSearch客户端模块，并且实时检测文件系统中的文件和目录更新；

ElasticSearch客户端模块，与所述文件系统管理模块、ElasticSearch集群模块和数据库系统连接，用于将用户检索请求中的关键词提交ElasticSearch集群模块检索；同时保障文件系统的文件和目录发生更新时，数据库系统中的文件属性信息和ElasticSearch集群模块的索引信息同步更新。

进一步的，所述数据库系统包括文件属性信息表，所述文件属性信息表中包含文件的url值与md5值，文件的url值为文件的路径信息；文件的md5值为文件内容计算值。