[发明专利]大规模文本信息批量结构化的方法及装置

说明书

本发明公开一种大规模文本信息批量结构化的方法及装置，能在短时间内批量处理大量文本信息。方法包括：根据不同文本信息的目标信息项建立不同的切分和抽取规则，以配置文件形式提供规则输入接口；根据对应的切分规则和抽取规则，以流水线处理方式，依次对单个文本信息完成自动化信息抽取操作；按照目标信息项的数据类型格式和长度建立数据库关系表，将经过自动化信息抽取后的文本信息转化为结构化记录，保存到数据库关系表中，对于未能成功抽取出关键信息的文本信息，使用统计机器学习的方法从已成功抽取的结构化记录数据中推测出候选信息项，根据候选信息项及对应的文本信息和规则内容对已有规则进行修正。

技术领域

本发明涉及计算机领域，具体涉及一种大规模文本信息批量结构化的方法及装置。

背景技术

近年来，随着大数据时代的到来，数据的快速增长了成了许多行业共同面临的机遇与挑战。“机遇”的部分在于，通过分析大量数据，数据拥有者能够挖掘出很多频繁模式，获取到很多潜在的信息，并可以根据这些信息预测出相关行业未来的趋势和发展，从而做出相应的决策，获取大量收益；而“挑战”的部分在于，虽然通过网络，任何人都可以很方便地获取大量的数据，甚至某些专业人员也可以通过爬虫的方式更快捷且高效地抓取网络上的数据，但如何能够在拥有如此海量数据的情况下高效地管理和利用这些数据，也成了一个难题。

针对上述问题，目前市面上有很多的解决方案能够去处理结构化的数据，例如通过聚类分析或是频繁模式挖掘等，而结构化的数据格式也是让计算机能实现批量结构化的关键。在管理方面，使用数据库的方式来管理现有数据也成为了主流。目前市面上较为流行的是关系型的数据库，例如MySQL和Oracle等，其能满足数据管理和查询等各类数据相关操作的需求。

但是，对于非结构化的文本信息，目前并没有较好的方法能够去对其进行处理。通常，各行各业都是使用大量人力资源的方式来对已有的非结构化文本信息进行数据清洗和预处理，进而提取出关键信息，即将大规模文本信息转化为结构化的数据库记录后再进行后续操作。然而这种方式不仅效率十分低下，同时也浪费了大量的人力资源成本，增大了开销。此外，这种方式也具有很大的局限性，必须针对每一类不同的文本信息聘请大量的相应人员来进行分析和提取，且不具备可重用性，在数据源源不断地到来的情况之下，并不是一个很好的方法，不能满足当今大数据时代的需求。

发明内容

针对现有技术存在的不足和缺陷，本发明提供一种大规模文本信息批量结构化的方法及装置。

一方面，本发明实施例提出一种大规模文本信息批量结构化的方法，包括：

根据不同文本信息的目标信息项建立不同的切分和抽取规则，以配置文件形式提供规则输入接口；

根据对应的切分规则和抽取规则，以流水线处理方式，依次对单个文本信息完成包括数据加载、片段切分、信息抽取和信息汇聚的自动化信息抽取操作；

按照目标信息项的数据类型格式和长度建立数据库关系表，将经过自动化信息抽取后的文本信息转化为结构化记录，保存到数据库关系表中，对于未能成功抽取出关键信息的文本信息，使用统计机器学习的方法从已成功抽取的结构化记录数据中推测出候选信息项，根据所述候选信息项及对应的文本信息和规则内容对已有规则进行修正。

另一方面，本发明实施例提出一种大规模文本信息批量结构化的装置，包括：

数据加载模块，用于将文本信息加载到内存中；

切分模块，用于读取切分规则库，逐条解析执行，将文本信息按照规则定义切分成片段，组成字符串数组并输出，其中，所述切分规则库，存储着对应文本信息的切分规则，切分模块根据这些规则将文本切分成若干独立的文字片段；

抽取模块，用于读取抽取规则库，在对应的文字片段中逐条执行规则内容，抽取各项关系表字段，其中，所述抽取规则库，存储着对应文本信息的数据库关系表中各字段的抽取规则，抽取模块根据这些规则从文字片段中抽取字段信息；