[发明专利]一种抽取网页内容的方法及系统在审
| 申请号： | 201711135743.X | 申请日： | 2017-11-16 |
| 公开（公告）号： | CN110069618A | 公开（公告）日： | 2019-07-30 |
| 发明（设计）人： | 吴远辉 | 申请（专利权）人： | 广州市万隆证券咨询顾问有限公司 |
| 主分类号： | G06F16/335 | 分类号： | G06F16/335;G06F16/9535;G06F16/903 |
| 代理公司： | 广州嘉权专利商标事务所有限公司 44205 | 代理人： | 郑泽萍;胡辉 |
| 地址： | 510600 广东省广州市*** | 国省代码： | 广东;44 |
| 权利要求书： | 查看更多 | 说明书： | 查看更多 |
| 摘要： | |||
| 搜索关键词： | 抽取 网页内容 内容抽取 网页 正则表达式 继续执行 匹配 样式 信息处理领域 速度实现 准确率 成功 输出 应用 | ||
1.一种抽取网页内容的方法，其特征在于，包括以下步骤：
S1、对网页进行基于正则表达式匹配的内容抽取处理，当判断抽取成功时，执行步骤S4，反之，继续执行步骤S2；
S2、对网页进行基于CSS样式的内容抽取处理，当判断抽取成功时，执行步骤S4，反之，继续执行步骤S3；
S3、对网页进行基于XPath匹配的内容抽取处理；
S4、输出抽取结果。
2.根据权利要求1所述的一种抽取网页内容的方法，其特征在于，所述步骤S1中所述对网页进行基于正则表达式匹配的内容抽取处理的步骤，具体包括：
S11、配置网页的正则表达式；
S12、利用正则表达式对网页进行内容抽取处理；
S13、对抽取结果进行数据清洗。
3.根据权利要求1所述的一种抽取网页内容的方法，其特征在于，所述步骤S2中所述对网页进行基于CSS样式的内容抽取处理的步骤，具体包括：
S21、配置网页的CSS样式表达式；
S22、利用CSS样式表达式对网页进行内容抽取处理；
S23、对抽取结果进行数据清洗。
4.根据权利要求1所述的一种抽取网页内容的方法，其特征在于，所述步骤S3，具体包括：
S31、配置网页的XPath路径表达式；
S32、利用XPath路径表达式对网页进行内容抽取处理；
S33、对抽取结果进行数据清洗。
5.根据权利要求4所述的一种抽取网页内容的方法，其特征在于，所述步骤
S33，其具体为：
将抽取结果与预设的噪音词汇库进行匹配后，删除抽取结果中的噪音词汇。
6.一种抽取网页内容的系统，其特征在于，包括以下模块：
第一抽取模块，用于对网页进行基于正则表达式匹配的内容抽取处理，当判断抽取成功时，执行输出模块，反之，执行第二抽取模块；
第二抽取模块，用于对网页进行基于CSS样式的内容抽取处理，当判断抽取成功时，执行输出模块，反之，执行第三抽取模块；
第三抽取模块，用于对网页进行基于XPath匹配的内容抽取处理；
输出模块，用于输出抽取结果。
7.根据权利要求6所述的一种抽取网页内容的系统，其特征在于，所述第一抽取模块，具体包括：
第一配置单元，用于配置网页的正则表达式；
第一抽取单元，用于利用正则表达式对网页进行内容抽取处理；
第一清洗单元，用于对抽取结果进行数据；
第一判断单元，用于当判断抽取成功时，执行输出模块，反之，执行第二抽取模块。
8.根据权利要求6所述的一种抽取网页内容的系统，其特征在于，所述第二抽取模块，具体包括：
第二配置单元，用于配置网页的CSS样式表达式；
第二抽取单元，用于利用CSS样式表达式对网页进行内容抽取处理；
第二清洗单元，用于对抽取结果进行数据清洗；
第二判断单元，用于当判断抽取成功时，执行输出模块，反之，执行第三抽取模块。
9.根据权利要求6所述的一种抽取网页内容的系统，其特征在于，所述第三抽取模块，具体包括：
第三配置单元，用于配置网页的XPath路径表达式；
第三抽取单元，用于利用XPath路径表达式对网页进行内容抽取处理；
第三清洗单元，用于对抽取结果进行数据清洗。
10.根据权利要求9所述的一种抽取网页内容的系统，其特征在于，所述第三子模块，具体用于：
将抽取结果与预设的噪音词汇库进行匹配后，删除抽取结果中的噪音词汇。
该专利技术资料仅供研究查看技术是否侵权等信息，商用须获得专利权人授权。该专利全部权利属于广州市万隆证券咨询顾问有限公司，未经广州市万隆证券咨询顾问有限公司许可，擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作，请联系【客服】
本文链接：http://www.vipzhuanli.com/pat/books/201711135743.X/1.html，转载请声明来源钻瓜专利网。
