[发明专利]资源管理方法及装置、存储介质、计算机系统

说明书

本公开涉及数据处理技术领域，具体涉及一种资源管理方法、资源管理装置、一种存储介质以及一种计算机系统。所述方法包括：按预设周期的时间节点对资源池中的已有资源数据进行遍历，以更新所述已有资源数据，并将不符合预设标准的所述已有资源数据删除；以及获取更新资源数据，并将获取的所述更新获取数据添加至所述资源池中；获取连续多个所述预设周期的时间节点对应的所述资源池的所述已有资源数据的数量；并根据所述已有资源数据的数量变化配置获取所述更新资源数据的获取策略。本公开的方案能够优化资源池的存储结构，实现对IP资源池的动态管理，动态维持IP资源池的平衡。

技术领域

本公开涉及数据处理技术领域，具体涉及一种资源管理方法、资源管理装置、一种存储介质以及一种计算机系统。

背景技术

网络爬虫是指按照一定的规则，自动地抓取信息或数据的技术手段。在网络爬虫技术的应用过程中，为了避免向网站爬取数据的过程受到限制或被禁止，一般需要使用代理IP来进行数据的爬取。

但是，现有技术在使用代理IP的技术方案中，一般无法实现对IP的数量、质量进行高效、准确的管理。

需要说明的是，在上述背景技术部分公开的信息仅用于加强对本公开的背景的理解，因此可以包括不构成对本领域普通技术人员已知的现有技术的信息。

发明内容

本公开的目的在于提供一种资源管理方法、资源管理装置、一种存储介质以及一种计算机系统，能够对IP资源池进行精准的管理，进而至少在一定程度上克服由于相关技术的限制和缺陷而导致的缺陷。

本公开的其他特性和优点将通过下面的详细描述变得显然，或部分地通过本公开的实践而习得。

根据本公开的第一方面，提供一种资源管理方法，包括：

按预设周期的时间节点对资源池中的已有资源数据进行遍历，以更新所述已有资源数据，并将不符合预设标准的所述已有资源数据删除；以及

获取更新资源数据，并将获取的所述更新获取数据添加至所述资源池中；

获取连续多个所述预设周期的时间节点对应的所述资源池的所述已有资源数据的数量；并根据所述已有资源数据的数量变化配置获取所述更新资源数据的获取策略。

在本公开的一种示例性实施例中，所述按预设周期的时间节点对资源池中的已有资源数据进行遍历，以更新所述已有资源数据，包括：

按预设规则对所述资源池中各所述已有资源数据的第一属性值进行修改，以更新所述已有资源数据。

在本公开的一种示例性实施例中，所述将不符合预设标准的所述已有资源数据删除，包括：

读取已更新的各所述已有资源数据的第一属性值，并在所述第一属性值小于或等于预设阈值时，删除所述已有资源数据。

在本公开的一种示例性实施例中，所述获取更新资源数据，并将获取的所述更新获取数据添加至所述资源池中，包括：

调用资源抓取接口，以获取目标数量的所述更新资源数据；

为所述更新资源数据配置数据结构，并添加至所述资源池中。

在本公开的一种示例性实施例中，所述对所述已有资源数据进行遍历时，所述方法还包括：

对所述已有资源数据的有效性进行验证，并将失效的所述已有资源数据进行删除。

在本公开的一种示例性实施例中，所述根据所述已有资源数据的数量变化配置获取所述更新资源数据的获取策略，包括：

若连续n个周期内所述资源池内所述已有资源数据的数量递减，且当前周期所述资源池内所述已有资源数据的数量小于第一预设阈值，则增加资源抓取接口的数量；其中，n为正整数；或者