[发明专利]一种提取内容数据的方法和装置

说明书

本发明公开了一种提取内容数据的方法和装置，属于计算机技术领域。所述方法包括：获取目标网站的至少一个网页的网页数据，所述网页数据包括至少一个内容数据和所述至少一个内容数据中的每个内容数据对应的位置信息；在所述至少一个网页的网页数据所包括的内容数据中，确定与预设的样本内容数据满足预设相似度条件的目标内容数据；在所述至少一个网页的网页数据中，获取所述目标内容数据对应的位置信息，基于所述目标内容数据对应的位置信息，在所述目标网站中进行内容数据提取。采用本发明，可以提高提取内容数据的及时性。

技术领域

本发明涉及计算机技术领域，特别涉及一种提取内容数据的方法和装置。

背景技术

随着互联网技术的发展，互联网的应用越来越广泛，互联网中网络数据的数据量也越来越大，数据搜索成为了用户常用的业务之一。用户可以在某数据搜索平台中输入某内容数据，该数据搜索平台的后台服务器可以在预先存储的内容数据与所属网页的网页地址的对应关系中，查询该内容数据对应的网页地址，并发送给该用户的终端，该用户可以打开其中的某一网页，下载该内容数据的相关数据。

数据搜索平台的后台服务器需要预先获取多个内容数据，以及每个内容数据对应的网页地址，以建立上述对应关系。其中，在获取内容数据时，后台服务器可以从其他网站中爬取网页数据，技术人员手动从网页数据中提取有用的内容数据，再获取该内容数据在网页中所处位置的信息(可称为位置信息)。例如，音乐网站中，包含的内容数据为歌曲名称A、歌手名称B和专辑名称C等。其中，每个内容数据在网页中都会对应有一个位置信息，例如歌曲名称A位于靠近网页上边界的中间位置处。

由于同一网站中，相同类别的内容数据在网页中的位置信息是相同的，例如，歌曲名称类别的内容数据都位于靠近网页上边界的中间位置处，歌词类别的内容数据都位于网页的正中间位置处。因此，可以根据获取到的内容数据在网页中的位置信息，遍历该网站中所有的网页，来提取该网站的其他多个网页中该位置信息对应的内容数据。例如，某音乐网站中的某一网页上找到歌曲名称“北京欢迎你”，及其所处的位置信息为“靠近网页上边界的中间位置处”，那么可以找到该网站中所有网页的靠近网页上边界的中间位置处所对应的内容数据，其结果是不同的歌曲名称，例如十年、在路上等。

在实现本发明的过程中，发明人发现现有技术至少存在以下问题：

技术人员需要在上述应用程序中手动选择需要提取的内容数据，然后才能获取该内容数据的位置信息，进而得到该网站中不同网页下该位置信息对应的内容数据。而不同网站中各内容数据的布局通常是不同的，所以，对于每个网站，技术人员都需要手动选择内容数据，获取该内容数据对应的位置信息，而获取到位置信息后，才能基于位置信息，在网站中进行内容数据提取。这样，获取位置信息的效率会比较低，从而导致提取内容数据的及时性较差。

发明内容

为了解决现有技术的问题，本发明实施例提供了一种提取内容数据的方法和装置。所述技术方案如下：

第一方面，提供了一种提取内容数据的方法，所述方法包括：

获取目标网站的至少一个网页的网页数据，所述网页数据包括至少一个内容数据和所述至少一个内容数据中的每个内容数据对应的位置信息；

在所述至少一个网页的网页数据所包括的内容数据中，确定与预设的样本内容数据满足预设相似度条件的目标内容数据，其中，所述预设的样本内容数据是与所述至少一个网页的网页数据满足预设相关度条件的内容数据；

在所述至少一个网页的网页数据中，获取所述目标内容数据对应的位置信息，基于所述目标内容数据对应的位置信息，在所述目标网站中进行内容数据提取。

可选的，所述基于所述目标内容数据对应的位置信息，在所述目标网站中进行内容数据提取，包括：