[发明专利]一种政务电子文档的内容分析提取系统

说明书

本发明公开了一种政务电子文档的内容分析提取系统，属于文档内容提取技术领域，为了解决现有技术中对于内容抽取的准确性以及效率性能等方面表现参差不齐，提供的渠道单一扩展不便的问题，本发明通过不同渠道传来的URL或者文件使用内容抽取模块抽取内容，再通过特征与规则手段来判断适合的信息类型并抽取出信息的要素，其中对于页面中有可以解析提取的电子文档，将会继续解析提取里面的内容与字段，最后通过提供并接受多种渠道的文档内容分析提取请求，并提供异步处理方案使系统之间解耦。本发明使得对于文档内容抽取的准确性以及效率性能等方面的表现较好，并且提供的提取系统渠道多样化、扩展方便，实现异步处理、高可用性及高吞吐量。

技术领域

本发明涉及一种文档内容的提取系统，特别是涉及一种政务电子文档的内容分析提取系统，属于文档提取系统技术领域。

背景技术

随着电子政务的发展政府网站越来越多，政府公开的数据也越来越多，这些数据可能是新录入，也有很多很早就存在的电子文档，而电子文档形式的信息向外界公开多数以下载的形式，更多的是通过人工抄录的方式录入到建设的内容管理系统；在政务集约化建设的指导方针下，政府网站采用中台方式集中管理，对于独立建设的站点需要进行合并和迁移，其中有相当多的网站需要用爬虫将页面内容抓取到中台。

政务业务需要电子文档内容提取解决方法、网页内容提取解决方法以及精确提取内容中关键要素的解决方法。

传统技术可以读取到电子文档内容，页面内容等，但对于内容抽取的准确性以及效率性能等方面表现参差不齐，并且提供的渠道单一扩展不便。

发明内容

本发明的主要目的是解决现有技术中对于内容抽取的准确性以及效率性能等方面表现参差不齐，并且提供的渠道单一扩展不便的问题，而提供一种政务电子文档的内容分析提取系统。

本发明的目的可以通过采用如下技术方案达到：

一种政务电子文档的内容分析提取系统，可以实现两个目的，分别如下：

(1)、提供对各种电子文档的内容抽取和html、asp、jsp、php等页面内容提取，同时提供对内容的关键要素进行提取，例如对于政务新闻提取标题、内容、时间、作者；对于政府信息公开除了提取新闻的要素外还提取索引号、文号、信息分类、发布机构，支持按需扩展自定义要素的规则；

(2)、提供并接受多种渠道的文档内容分析提取请求，并提供异步处理方案使系统之间解耦。

进一步的，目的(1)的技术方案如下：

a、接收文件；

b、判断传来的文件类型；

c、使用对应文件类型的内容抽取模块来读取整个文件内容；

d、对于电子文档继续抽取文件的Metadata；

e、对于网页文件抽取页面的head中的title、meta；

f、对于电子文档需要使用特征来分析内容；

g、对于网页需要使用密度以及规则来分析内容；

h、将结果封装成统一格式返回。

进一步的，目的(2)的技术方案如下：

同步：提供REST接口，对接系统可以POST文件或者URL地址，系统接收后同步处理将提取结果返回，期间对接系统需要等待；

异步：提供使用消息中间件的交互方式，对接系统将需要处理的文件或者URL发送给消息中间件，由消息中间件发送给文档内容分析提取系统，系统处理完毕后将结果返回给消息中间件，对接系统通过接收消息来处理结果，期间对接系统可以不用等待提取系统的结果反馈。

本发明的有益技术效果：