[发明专利]一种互联网大数据分析提取方法及系统

说明书

本申请公开了一种互联网大数据分析提取方法包括：获取目标对象的网页源码文本集；从网页源码文本集中的每份网页源码文本中提取出目标对象的网页特征信息，并分析出网页特征信息的权重，得到第一特征信息集；从第一特征信息集中筛选出权重值高于第一预设权重的网页特征信息，得到正查数据。可见，本申请在获取互联网上的网页源码文本后进行了分析和提取，使得能够对网页特征信息进行排序和筛选，排除了精准度和可信度低的数据，得到可信度和精准度更高的正查数据，相较于现有技术不是简单的获取，而是通过各种算法对原始数据进行了分析和提取，以此获得准确度高和可信度高的数据。另外，本申请还相应公开了一种互联网大数据分析提取系统。

技术领域

本发明涉及大数据管理领域，特别涉及一种互联网大数据分析提取方法及系统。

背景技术

自古以来人们就深知信息的重要性，拥有更多和更精准的信息就能获得优势，随着社会的不断进步，信息越来越多样化，且数量也是成倍的增长，大数据的概念也随之提出，从庞杂的数据中，提取所需的数据进行分析，得到直观的信息，以此来占据先机，获取利益。

目前，对于企业大数据的采集采用网络爬虫，前往各大公示公开的政府的网站爬取企业相关信息，做了结构化HTML文件存储下来，成为自身的数据，并支持数据的更新，而政府的网站可能仅有企业的少量信息，且相对于企业的官网更新速度慢，不足以满足用户的需求，而单纯的前往互联网中搜索企业相关信息，可能会被一些钓鱼网站、过期信息和大量的无用信息所干扰，难以得到真实可信的数据，不能保证信息的准确性和实用性。

因此，如何能够更深入的解析企业大数据，提供准确、可信和全面的信息是要解决的问题。

发明内容

有鉴于此，本发明的目的在于提供一种互联网大数据分析提取方法及系统，提高数据的准确性和可信度。其具体方案如下：

一种互联网大数据分析提取方法，包括：

获取目标对象的网页源码文本集；

从所述网页源码文本集中的每份网页源码文本中提取出所述目标对象的网页特征信息，并分析出网页特征信息的权重，得到第一特征信息集；

从所述第一特征信息集中筛选出权重值高于第一预设权重的网页特征信息，得到正查数据。

优选的，所述从所述网页源码文本集中的每份网页源码文本中提取出所述目标对象的网页特征信息的过程包括：

利用JSOUP分别对所述网页源码文本集中的每份网页源码文本进行解析，得到相对应的纯内容数据集，从所述纯内容数据集中的每份纯内容数据中提取出所述目标对象的网页特征信息。

优选的，所述从所述网页源码文本集中的每份网页源码文本中提取出所述目标对象的网页特征信息，并分析出网页特征信息的权重的过程包括：

从所述纯内容数据集中的每份纯内容数据中，利用正则匹配和固话区号匹配限制，提取电话和邮箱信息，并分别得到电话和邮箱信息各自的权重；

从所述纯内容数据集中的每份纯内容数据中，利用基于自然语言处理技术的算法和地域匹配权重，提取地址信息，并得到地址信息的权重；

从所述纯内容数据集中的每份纯内容数据中，利用关键字定位和停用词，提取所述目标对象的简要描述信息，并得到简要描述信息的权重；

从所述纯内容数据集中的每份纯内容数据中，利用关键字定位、正在匹配和基于自然语言处理技术的算法提取联系人名称、传真和职位信息，并分别得到联系人名称、传真和职位信息各自的权重。

优选的，所述从所述网页源码文本集中的每份网页源码文本中提取出所述目标对象的网页特征信息，并分析出网页特征信息的权重的过程包括：