[发明专利]一种多通道动态分布式学术资源采集方法

权利要求书

1.一种多通道动态分布式学术资源采集方法，其特征在于：该采集方法包括测试系统、采集系统、预处理系统、分类整合系统、数据库系统、平台架构系统、用户查询系统、紧急处理系统与维护更新系统。

2.根据权利要求1所述的一种多通道动态分布式学术资源采集方法，其特征在于：所述测试系统为多通道抓取系统，系统抓取知名学术资源网站、典型的论坛网站与知名的中外文论坛网站上的部分网页作为实验对象，建立一个与模板无关的基于有效字符的内容抽取算法，统计该内容抽取方法的准确率，根据统计结果对测试实验结果评分。

3.根据权利要求1所述的一种多通道动态分布式学术资源采集方法，其特征在于：所述采集系统基于模板无关的内容抽取算法对各大学术方面网站中的网页进行采集，将网页的内容转载收集，采集系统主要涉及三方面：第一、采集新出现的网页；第二、采集之前搜集后有改变的网页；第三、将之前采集后现不存在的网页删去。

4.根据权利要求1所述的一种多通道动态分布式学术资源采集方法，其特征在于：所述预处理系统将采集系统采集的数据进行预处理，通过预处理系统对HTML标签进行修正和配对，识别源码中的乱码，并将乱码翻译成文字，文字自动替换乱码。

5.根据权利要求1所述的一种多通道动态分布式学术资源采集方法，其特征在于：所述分类整合系统将预处理之后的数据进行分类，并且分类整合系统自动生成并设置关键词组，然后分类整合系统将预处理系统处理之后的数据按照关键词组整合到每一个大类中。

6.根据权利要求1所述的一种多通道动态分布式学术资源采集方法，其特征在于：所述数据库系统储存最终抓取的有效字符数据，并利用数据库系统对数据进行集中控制和管理，并通过数据模型表示各种数据的组织以及数据间的联系，充分有效地管理和利用各类信息资源。

7.根据权利要求1所述的一种多通道动态分布式学术资源采集方法，其特征在于：所述平台架构系统包括搭建网络查询平台，平台架构系统与数据库系统中的信息实时共享，并自动生成多个平台外链，且平台架构系统对大数据提供去重、降噪、筛选、清洗等工具将无效数据进行过滤，以达到节省存储空间的目的。

8.根据权利要求1所述的一种多通道动态分布式学术资源采集方法，其特征在于：所述用户查询系统包括输入模块、交互模块与接收模块，输入模块用于设置用户的行为信息；交互模块用于和提供多通道动态网页信息的服务器建立链接，根据输入模块设置的模拟用户行为信息下载动态网页信息，对下载的动态网页信息中的表项解析，从服务器中得到收集动态网页的链接地址发送给接收模块；接收模块用于根据从交互模块得到的链接地址匹配到相适配的动态网页。

9.根据权利要求1所述的一种多通道动态分布式学术资源采集方法，其特征在于：所述紧急处理系统中备份有数据库系统中的所有数据，并且数据库系统中每接收到任意一条信息都会再次发送到紧急处理系统中，当数据库系统出现故障时，紧急处理系统启动，平台架构系统实现与紧急处理系统信息共享。

10.根据权利要求1所述的一种多通道动态分布式学术资源采集方法，其特征在于：所述维护更新系统定期的对平台架构系统进行更新维护，及时优化平台架构以及删去多余内存。