[发明专利]一种数据过滤挖掘方法

权利要求书

1.一种数据过滤挖掘方法，其特征在于，包括以下步骤：

S100、使用Nutch分布式爬虫技术对目标网站进行数据采集；

S200、对获取的数据进行大数据处理和自然语言处理，其中大数据处理包括数据抽取、校验、装载、存储以及计算，其中自然语言处理包括对数据进行排重、过滤、文本分类和摘要；

S300、建立数据分析模型体系，所述数据分析模型体系包括文本分析模型、信息价值评价模型以及深度学习算法调优模型；

S400、使用数据分析模型体系对处理后的数据进行分析，并根据用户反馈信息进行优化。

2.根据权利要求1所述的数据过滤挖掘方法，其特征在于，所述S100包括：

S101、创建统一资源定位符列表文件；

S102、根据统一资源定位符列表文件，添加入口统一资源定位符地址，生成待下载列表；

S103、提取待下载列表生成下载任务；

S104、从全球广域网中根据下载任务下载具体页面内容；

S105、分析提取页面内容，并判断页面内容中是否包含统一资源定位符，若是，则返回执行步骤S102，否则根据页面内容建立索引检索，完成数据采集。

3.根据权利要求2所述的数据过滤挖掘方法，其特征在于，所述步骤S105中，提取页面内容包括：

网页内容自动提取，区分网页中的标题和正文信息，并对内容具有连续性的多个网页内容进行自动合并、网络论坛信息自动提取；

网页正文提取，从一个网页混乱的结构中自动分析并提出正文部分；

多字符集编码转换，将包括但不限于gb2132以及UTF8字符采用Unicode编码方式执行识别转换。

4.根据权利要求1所述的数据过滤挖掘方法，其特征在于，所述对数据进行排重包括基于统一资源定位符的排重以及基于网页内容的排重。

5.根据权利要求1所述的数据过滤挖掘方法，其特征在于，所述文本分类包括：

使用指定算法对数据进行训练，得到不同的训练模型并放入选择的容器中；

根据得到的训练模型对文本数据进行分类。

6.根据权利要求5所述的数据过滤挖掘方法，其特征在于，所述指定算法包括线性分类算法、临近分类算法和布朗词聚类算法。

7.根据权利要求1所述的数据过滤挖掘方法，其特征在于，所述对数据进行摘要包括：

对数据基于统计的信息抽取，据线索词词典、词频、词和句子的统计规律进行模式匹配汲取文摘；

对数据基于理解的信息抽取，利用句法、语义知识等知识，在对文章的内容进行理解的基础上提取文摘。

8.根据权利要求1所述的数据过滤挖掘方法，其特征在于，所述文本分析模型基于自然语言处理技术对长文本内容进行语句和单词的分割，得到文本包含的关键词、关键词分类匹配、词频统计信息，为信息价值评价模型提供数据准备。

9.根据权利要求1所述的数据过滤挖掘方法，其特征在于，所述信息价值评价模型根据经过文本分析模型处理后的数据，基于自然语言处理的分句分词结果，以单词/词组为单位，通过关键词的匹配进行分类规则及文章信息价值得分的计算，针对不同文章的分类及价值进行评分；

根据符合用户业务需求的关键语句，对已评分的句子进行筛选识别，得到文章信息摘要，并发送给用户。

10.根据权利要求1所述的数据过滤挖掘方法，其特征在于，所述深度学习算法调优模型用于根据接收到的用户反馈信息，对价值评价模型中的关键词基础得分评价体系及价值信息判定阈值进行算法迭代修正；

通过神经网络对每一批次的样本量进行迭代训练，根据正负样本量占比对倍率和基础分进行指定次数训练完成调优，以逼近期望值，其中指定次数可自行设置。