[发明专利]网络服务构建方法和设备以及网页数据抽取方法和设备

说明书

技术领域

本发明一般地涉及深层网页相关的数据抽取技术以及相关网络服务的构建方法。具体而言，本发明涉及一种构建用于对深层网页的数据进行抽取的网络服务的方法和设备以及相应的网页数据抽取方法和设备。

背景技术

近年来，随着互联网及其应用的发展，网络上可获得和利用的各类有用信息呈几何级增长，极大地增加了人们获取信息的来源。网页可大体分为表层网页和深层网页。表层网页容易被用户使用，同时会提供API以利于机器处理。深层网页对用户可读，但对机器并不友好，也很少有相应的API。因此，提出了一些数据抽取方法，将对深层网页的访问封装为网络服务（Web Service），从而利于机器访问深层网页，并可以基于这样的网络服务生成更多更高层次的网络服务。如将现有的网络服务整合以提供新的网络服务等。

然而，随着网络的发展，Javascript（Java脚本语言，下文中简称为JS）被广泛地应用到了网页中。随之带来的问题是在深层网页的访问中，很多与深层网页的访问相关的登录或查询参数可能是JS代码执行的动态结果，传统的数据抽取技术难以进行其中涉及JS代码动态执行的深层网页访问。因此，难以构建相应的网络服务以抽取深层网页的数据。

发明内容

在下文中给出了关于本发明的简要概述，以便提供关于本发明的某些方面的基本理解。应当理解，这个概述并不是关于本发明的穷举性概述。它并不是意图确定本发明的关键或重要部分，也不是意图限定本发明的范围。其目的仅仅是以简化的形式给出某些概念，以此作为稍后论述的更详细描述的前序。

本发明的目的是针对现有技术的上述问题，提出了一种网络服务构建方法和设备以及网页数据抽取方法和设备。根据本发明的技术方案能够将涉及JS代码动态执行的深层网页访问，构建为网络服务，并且利用该网络服务可以抽取深层网页的数据。

为了实现上述目的，根据本发明的一个方面，提供了一种网络服务构建方法，包括：收集与深层网页的访问有关的数据，所述数据包括HTTP消息、JS事件、堆栈快照；在所收集的HTTP消息中，搜索服务相关参数，并将搜索到的参数分为用户输入参数、显式参数、隐式参数；构建能够生成显式参数的第一XPath；构建能够生成隐式参数的JS代码；构建能够生成最终的深层网页返回结果的第二XPath；以及根据JS事件、堆栈快照和所观察的HTTP消息的顺序，构建表示服务内部流程的结构；其中所述用户输入参数、JS代码、第一和第二XPath、表示服务内部流程的结构构成了所述网络服务。

根据本发明的另一个方面，提供了一种深层网页的数据抽取方法，其包括根据用户输入参数，构建HTTP请求；获取HTTP请求对应的HTTP响应；根据所获取的HTTP响应，利用第一XPath生成显式参数，并利用JS代码生成隐式参数；根据用户输入参数、显式参数、隐式参数中的至少一个，构建HTTP请求；获取HTTP请求对应的HTTP响应；按照表示服务内部流程的结构重复执行上述生成、构建、获取步骤，直至根据所获取的HTTP响应，利用第二XPath生成最终的深层网页返回结果。

根据本发明的又一个方面，提供了一种网络服务构建设备，其包括：收集装置，被配置为收集与深层网页的访问有关的数据，所述数据包括HTTP消息、JS事件、堆栈快照；参数搜索装置，被配置为在所收集的HTTP消息中，搜索服务相关参数，并将搜索到的参数分为用户输入参数、显式参数、隐式参数；第一XPath构建装置，被配置为构建能够生成显式参数的第一XPath；JS代码构建装置，被配置为构建能够生成隐式参数的JS代码；第二XPath构建装置，被配置为构建能够生成最终的深层网页返回结果的第二XPath；以及结构构建装置，被配置为根据JS事件、堆栈快照和所观察的HTTP消息的顺序，构建表示服务内部流程的结构；其中所述用户输入参数、JS代码、第一和第二XPath、表示服务内部流程的结构构成了所述网络服务。

根据本发明的再一个方面，提供了一种深层网页的数据抽取设备，其包括：第一构建装置，用于根据用户输入参数，构建HTTP请求；获取装置，用于获取HTTP请求对应的HTTP响应；参数生成装置，用于根据所获取的HTTP响应，利用第一XPath生成显式参数，并利用JS代码生成隐式参数；第二构建装置，用于根据用户输入参数、显式参数、隐式参数中的至少一个，构建HTTP请求；控制装置，用于按照表示服务内部流程的结构指令所述参数生成装置、第二构建装置、获取装置执行操作，直至其根据所获取的HTTP响应，利用第二XPath生成最终的深层网页返回结果。