[发明专利]一种基于语义分析的招投标项目关键信息自动化提取方法

说明书

技术领域

本发明涉及大数据技术领域，具体地说是实用性强、基于语义分析的招投标项目关键信息自动化提取方法。

背景技术

在过去的几年中，随着互联网的普及，大数据凭借超强的数据处理分析能力，为各行各业的人员提供数据支持，为企业高管、政府人员等等提供数据参考，极大地增强了决策力、洞察力，以更加具有说服力的数据代替了以往的模糊印象，使得决策更加有理、有据。其中，招标和中标数据对于反映一个区域市场的活跃性以及对某个公司的综合示例提供了很好的参考价值。

据统计，全国各地省级以及地市级招中标网站多达600多个。通过监控采集这些网站，每天采集到的数据量很大。如何将非结构化的项目公告信息采集并进行结构化存储是我们所面临的最大问题。

在现有的正文文本关键信息提取的研究过程中，数据采集人员往往将文本信息处理的算法或程序作为重点研究方向以提高数据采集效率和准确度，却没有意识到目标信息特征值与目标信息之间的紧密联系。因此，在过去的研究中，研究人员往往只是通过对文本中的简单词频进行概率统计。

基于此，现提供一种基于语义分析的招投标项目关键信息自动化提取方法，该方法是伴随着大数据时代的来临提出的，在大数据时代，如何对海量数据进行采集、分析、提取并且产生价值，是不得不考虑的一个问题，尤其是提取招投标领域的关键信息。由于一个好的特征值库能够更好的体现目标信息的模式特征和属性，使得提取效率和准确度大大提高。故在本发明提供的方法中，通过目标信息的特征值进行目标信息提取的提取方式，并不是根据词频来确定目标信息的位置，而是根据目标信息的特征值确定目标信息的模式，根据这种模式识别并提取目标信息可以有效的提高定位精度并在很大程度上压缩正文文本的维数。

发明内容

本发明的技术任务是针对以上不足之处，提供一种实用性强、基于语义分析的招投标项目关键信息自动化提取方法。

一种基于语义分析的招投标项目关键信息自动化提取方法，其具体实现过程为：

首先获取招投标公告原文；

进行特征值分析；

正则提取特征值；

将提取的信息存入数据库。

所述获取招投标公告原文的具体过程为：根据webclient和htmlunit 网络爬虫方法，获取对应页面的htmlPage，通过page.getBody方法获取相应页面的body 部分源码和正文。

所述特征值包括项目名称特征值、项目编号特征值、时间特征值、招标人特征值、代理机构提取、中标人特征值、中标金额特征值，其特征值分析内容包括：

项目名称特征值，为招标或中标项目的完整名称，该名称包括区域、单位机构、采购物品或服务、采购类型及公告类型；

项目编号特征值，由大小写字符、-、【、】符号组成的字符串；

时间特征值，包括公告发布时间、开标时间、中标时间，分析时采用模糊匹配的特征值模式，首先确定招标公告发布的年份，然后就近提取月份，随后是日期；

招标人特征值，其模式为区域+机构名称，该机构名称包括公司、交易中心、采购中心；

代理机构特征值，其模式为区域+机构名称，该机构名称包括厅、局、大学；

中标人特征值，其模式为区域+机构名称，该机构名称包括公司、集团、企业；

中标金额特征值，表达格式分为大写和小写两种。

所述正则获取特征值过程为：通过正则表达式的match()方法，根据特征值分析的结果，对原文使用正则，获取项目名称、项目编号信息。

本发明的一种基于语义分析的招投标项目关键信息自动化提取方法，具有以下优点：

该发明的一种基于语义分析的招投标项目关键信息自动化提取方法通过特征值确定目标信息位置，通过语法树验证目标信息提取的准确性，大大提高中文文本信息处理效率和准确度，实用性强，适用范围广泛，易于推广。

附图说明

附图1为本发明的实现流程图。

具体实施方式

下面结合附图及具体实施例对本发明作进一步说明。

本发明的提供一种基于语义分析的招投标项目关键信息自动化提取方法，该方法基于银联控件技术的手机纳税安全支付方法解决了缴税依赖电脑网上办税的地点局限性和大厅办税的繁琐性，而且还保证了手机缴税的安全可靠性。

如附图1所示，该方法的具体实现过程为：

首先获取招投标公告原文；

进行特征值分析；

正则提取特征值；

将提取的信息存入数据库。