[发明专利]互联网数据的抓取方法和装置

说明书

本公开提供了互联网数据的抓取方法和装置，涉及数据处理技术领域中的大数据和智能搜索技术领域。包括：根据预设的第一抓取频率抓取预设时间段内的第一互联网数据，并确定第一互联网数据相对于预存的第二互联网数据的新增信息，第二互联网数据为在预设时间段之前抓取到的互联网数据，根据预设时间段和新增信息，确定第一互联网数据相对于第二互联网数据的第一增量密度，并根据第一增量密度和新增信息确定第二抓取频率，根据第二抓取频率对预设时间段后的互联网数据进行抓取，避免了基于固定抓取频率对互联网数据进行抓取造成的灵活性偏低的问题，提高了抓取互联网数据的灵活性，且提高了动态抓取互联网数据的准确性和可靠性的技术效果。

技术领域

本公开涉及数据处理技术领域中的大数据和智能搜索技术领域，尤其涉及一种互联网数据的抓取方法和装置。

背景技术

随着互联网技术的发展，每天有海量的数据在互联网中产生，包括新增的数据，如首次发表于互联网的新闻数据等，也包括对历史的数据更新后的数据，如对历史的新闻数据的评论数据等。

在现有技术中，通常采用的互联网数据(即互联网中的数据)的抓取方法包括：设置用于抓取互联网数据的固定抓取频率，根据该固定抓取频率从互联网中抓取互联网数据。

然而，互联网数据在新增和更新的时间上具有不可确定性，通过固定抓取频率对互联网数据进行抓取，可能造成互联网的访问压力较大，且可能因固定抓取频率的设置不合理，而造成的抓取互联网数据的可靠性和准确性偏低的技术问题。

发明内容

本公开提供了一种用于提高抓取互联网数据的可靠性的互联网数据的抓取方法和装置。

根据本公开的第一方面，提供了一种互联网数据的抓取方法，包括：

根据预设的第一抓取频率抓取预设时间段内的第一互联网数据，并确定所述第一互联网数据相对于预存的第二互联网数据的新增信息，所述第二互联网数据为在所述预设时间段之前抓取到的互联网数据；

根据所述预设时间段和所述新增信息，确定所述第一互联网数据相对于所述第二互联网数据的第一增量密度，并根据所述第一增量密度和所述新增信息确定第二抓取频率；

根据所述第二抓取频率对所述预设时间段后的互联网数据进行抓取。

根据本公开的第二方面，提供了一种互联网数据的抓取装置，包括：

第一抓取单元，用于根据预设的第一抓取频率抓取预设时间段内的第一互联网数据；

第一确定单元，用于确定所述第一互联网数据相对于预存的第二互联网数据的新增信息，所述第二互联网数据为在所述预设时间段之前抓取到的互联网数据；

第二确定单元，用于根据所述预设时间段和所述新增信息，确定所述第一互联网数据相对于所述第二互联网数据的第一增量密度；

第三确定单元，用于根据所述第一增量密度和所述新增信息确定第二抓取频率；

第二抓取单元，用于根据所述第二抓取频率对所述预设时间段后的互联网数据进行抓取。

根据本公开的第三方面，提供了一种电子设备，包括：

至少一个处理器；以及

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行第一方面所述的方法。

根据本公开的第四方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行第一方面所述的方法。