[发明专利]利用爬虫获取并解析公告信息方法及装置

权利要求书

1.一种利用爬虫获取并解析公告信息方法，其特征在于，包括：

爬取目标数据，根据所述目标数据得到第一记录表，所述目标数据包括目标公告名称和目标公告附件，所述第一记录表为目标公告名称表；

根据所述目标公告附件，得到所述目标公告附件中的表格对应的第一文本信息；

根据所述第一记录表及所述第一文本信息生成第二记录表；

将所述第二记录表及其对应的所述目标公告附件发送至对应的用户邮箱。

2.根据权利要求1所述的利用爬虫获取并解析公告信息方法，其特征在于，所述爬取目标数据，根据所述目标数据得到第一记录表，所述目标数据包括目标公告名称和目标公告附件，所述第一记录表为目标公告名称表包括：

以第一关键字对目标网站的所有公告名称进行筛选，筛选出的公告为目标公告；

获取目标公告对应的第一链接；

根据所述第一链接获取所述目标公告的页面上的第二链接；

根据所述第二链接获取目标公告附件；

将所述目标公告附件的标题名称存储到表格中，得到第一记录表，及将所述目标公告附件与所述第一记录表关联存储至文件服务器中。

3.根据权利要求2所述的利用爬虫获取并解析公告信息方法，其特征在于，所述根据所述目标公告附件，得到所述目标公告附件中的表格对应的第一文本信息包括：

解析所述目标公告附件，将所述目标公告附件从PDF文件格式转换为文本格式；

根据第二关键字在所述文本格式的目标公告附件中定位起始点和终点，以生成目标信息区域；

从所述目标信息区域提取第一文本信息。

4.根据权利要求1所述的利用爬虫获取并解析公告信息方法，其特征在于，所述根据所述第一记录表及所述第一文本信息及生成第二记录表包括：

对所述第一文本信息进行识别和整合，得到最终文本信息；

将所述最终文本信息写入所述第一记录表中，生成所述第二记录表。

5.根据权利要求4所述的利用爬虫获取并解析公告信息方法，其特征在于，所述对所述第一文本信息进行识别和整合，得到最终文本信息包括：

对所述第一文本信息的换行情况进行识别；

根据所述换行情况，对所述第一文本信息进行换行整合，得到第二文本信息；

对所述第二文本信息的分页情况进行识别；

根据所述分页情况，对所述第二文本信息进行分页整合，得到最终文本信息。

6.根据权利要求5所述的利用爬虫获取并解析公告信息方法，其特征在于，所述对所述第一文本信息的换行情况进行识别包括：

检测所述第一文本信息是否以数字开头并且是否有相应数目的字段，如果是以数字开头且有相应数目的字段，则判断为非换行数据，如果没有以数字开头或者有相应数目的字段，则说明为换行数据；

所述对所述第二文本信息的分页情况进行识别包括：

检测所述第二文本信息是否出现特定标识符，当出现所述特定标识符且所述特定标识符的下一行只以数字开头，则判断为非分页换行，当出现所述特定标识符但所述特定标识符的下一行不以数字开头，则判断为分页换行。

7.根据权利要求1所述的利用爬虫获取并解析公告信息方法，其特征在于，所述将所述第二记录表及其对应的所述目标公告附件发送至不同用户邮箱包括：

根据所述第二记录表从用户列表中获取用户邮箱；

将所述第二记录表和对应的目标公告附件发送至对应的用户邮箱。

8.一种利用爬虫获取并解析公告信息装置，其特征在于，包括：

目标数据获取模块，用于爬取目标数据，根据所述目标数据得到第一记录表，所述目标数据包括目标公告名称和目标公告附件，所述第一记录表为目标公告名称表；

文本信息获取模块，用于根据所述目标公告附件，得到所述目标公告附件中的表格对应的第一文本信息；

第二记录表生成模块，用于根据所述第一记录表及所述第一文本信息生成第二记录表；

邮件发送模块，用于将所述第二记录表及其对应的所述目标公告附件发送至对应的用户邮箱。