[发明专利]文档索引生成方法及设备有效
申请号: | 201910383600.3 | 申请日: | 2019-05-09 |
公开(公告)号: | CN110096478B | 公开(公告)日: | 2021-06-29 |
发明(设计)人: | 徐凯;丛新法;侯青军;杨通军;杨哲;高翔;张健钊 | 申请(专利权)人: | 中国联合网络通信集团有限公司 |
主分类号: | G06F16/11 | 分类号: | G06F16/11;G06F16/13;G06F16/16;G06F40/289 |
代理公司: | 北京同立钧成知识产权代理有限公司 11205 | 代理人: | 张子青;刘芳 |
地址: | 100033 *** | 国省代码: | 北京;11 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 文档 索引 生成 方法 设备 | ||
本发明实施例提供一种文档索引生成方法及设备,该方法包括:接收各类型客户端发送的文件及所述文件对应的元数据信息,其中所述元数据信息存储在数据库中,所述文件存储在本地磁盘;查询所述数据库根据所述元数据信息,从所述本地磁盘中获取等待自动处理的目标文件;对所述目标文件进行解析得到文档信息;将所述文档信息进行分词处理,得到所述文档信息的检索词,并根据预设检索框架生成所述文档信息的的索引信息,能够实现对文档索引的自动生成,效率较高,可以处理大量文档信息,可节省人力成本。
技术领域
本发明实施例涉及计算机技术领域,尤其涉及一种文档索引生成方法及设备。
背景技术
随着互联网的迅速发展,互联网上的文档信息急剧增加。用户为了在海量信息中找到所有需要的文档信息,通常通过根据索引信息找到相关的文档信息。
目前,为了建立文档索引,通常的方法是对不同来源的文档进行人工整理,得到不同的文档的索引信息,然后上传至数据库服务器中,以供用户检索。
然而,发明人发现现有的对不同来源的文档人工整理建立索引信息的过程,当文档数量较多时,操作繁琐,需要耗费大量的人力,成本较高。
发明内容
本发明实施例提供一种文档索引生成方法及设备,以克服现有技术中不同来源的文档人工整理建立索引信息的过程,当文档数量较多时,操作繁琐,需要耗费大量的人力,成本较高的问题。
第一方面,本发明实施例提供一种文档索引生成方法,包括:
接收各类型客户端发送的文件及所述文件对应的元数据信息,其中所述元数据信息存储在数据库中,所述文件存储在本地磁盘;
查询所述数据库根据所述元数据信息,从所述本地磁盘中获取等待自动处理的目标文件;
对所述目标文件进行解析得到文档信息;
将所述文档信息进行分词处理,得到所述文档信息的检索词,并根据预设检索框架生成所述文档信息的的索引信息。
在一种可能的设计中,在所述接收各类型客户端发送的文件及所述文件对应的元数据信息之前,还包括:
发送文件抽取信息到各类型客户端,其中文件抽取信息中包括与所述各类型客户端对应的允许抽取的文件格式和扫描路径信息;
其中,允许抽取的文件格式和扫描路径信息用于指示所述各类型客户端根据对应的允许抽取的文件格式和扫描路径信息抽取文件和所述文件对应的元数据信息。
在一种可能的设计中,所述对所述目标文件进行解析得到文档信息,包括:
获取所述目标文件的文件格式,并判断所述目标文件是否存在;
若所述目标文件存在且所述目标文件的文件格式为压缩文件格式,则对所述目标文件进行解压得到解压后的文件,并对所述解压后的文件进行解析生成所述目标文件的文档信息;
若所述目标文件存在且所述目标文件的文件格式为非压缩文件格式,则对所述目标文件进行解析生成所述目标文件的文档信息。
在一种可能的设计中,判断所述目标文件是否存在,包括:
通过元数据信息中的文件路径进行文件查询,若查询到文件则确定所述目标文件存在,若不能查询到文件则确定所述目标文件不存在。
在一种可能的设计中,所述对所述目标文件进行解析生成所述目标文件的文档信息,包括:
通过开源工具apache tika对目标文件进行解析,获取所述目标文件的文档信息。
在一种可能的设计中,所述预设检索框架为apache lucence框架。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于中国联合网络通信集团有限公司,未经中国联合网络通信集团有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201910383600.3/2.html,转载请声明来源钻瓜专利网。