[发明专利]一种网络数据获取识别方法以及装置

说明书

本申请公开了一种网络数据获取识别方法以及装置，该方法在获取第二网络请求所携带的目标加密参数之后，对该目标加密参数进行解密，获得第一网络行为背景标识，并获取第二网络请求对应的第二网络行为背景标识，将上述第一网络行为背景标识与第二网络行为背景标识进行比对，并基于比对结果确定第二网络请求对应的访问主体是否为网络数据获取主体，其中，上述第二网络请求基于第一网络请求对应的网络响应数据而实现，目标加密参数为对第一网络请求对应的第一网络行为背景标识进行加密处理后所获得的参数。通过使用该方法，可针对网络数据获取任务调度系统及其获取策略分配机制下的数据获取操作进行精准识别。

技术领域

本申请涉及计算机技术领域，具体涉及一种网络数据获取识别方法。本申请同时涉及一种网络数据获取识别装置、一种电子设备以及一种计算机可读取存储介质。

背景技术

网络数据获取是指按照预设数据获取规则、通过程序或者脚本自动获取万维网信息，该过程可能导致网站的网络资源、计算资源等被不当占用，造成网站功能受损。例如，在网络购物场景或生活服务类网络应用场景中，上述网络数据获取过程可能导致网络平台的商户信息、商品信息等被恶意批量获取；对于内容发布网站而言，可能导致网站的知识产权被恶意侵犯。

网络数据获取主体通常可以通过HTTP请求来获取目标数据内容，HTTP请求的URL地址(Uniform Resource Locator，统一资源定位符)中会有相应的参数对应目标数据内容，网络数据获取主体从一个或若干初始网页对应的URL开始，获得初始网页URL之后根据网页获取策略，不断抽取新的URL放入获取队列，并基于该URL获取目标数据内容，直到满足某种停止条件。

现有的针对网络数据获取行为的识别及拦截技术包括基于IP维度对抗、账户维度对抗、验证码、动态页面结构、限制访问量和下载量、文字转图片以及动态参数等方式，其中，基于动态参数的针对网络数据获取行为的识别及拦截技术在一定程度上增加了网络数据获取行为的成本、也增加了识别和拦截网络数据获取行为的机会。例如，外卖网站将商户对应的URL进行动态化处理，其具体为，将商户对应的URL中的商户ID分化区分为商户内部ID和外部动态ID，内部ID为网站内部各系统之间用于指定商户对象的传递参数，其一般为固定字符串，外部动态ID一般是数字经过映射后所获得的定时或不定时变化的动态字符串，以使网络数据获取主体无法通过同一静态URL向网站请求商户的数据内容，而是在不同的时间点需先找到商户对应的动态URL的确切的值，例如，通过在网站搜索该商户的名称，该种方式增加了网络数据获取主体为获取一个目标数据内容而与网站交互的次数，既增加获取成本，也增加网站识别和拦截网络数据获取行为的机会。

为了对抗上述基于动态参数的针对网络数据获取行为的识别及拦截技术，实现高效遍历网站全部内容，网络数据获取系统增设任务调度系统以及获取策略分配机制，即，通过前序网络数据获取实例定时获取目标网站的目标数据内容的前序页面，并将前序网络数据获取实例获得的URL分配给其它网络数据获取实例继续执行后续获取操作，例如，在获取商户详情页面之前先通过前序网络数据获取实例获取商户列表页面，并将商户详情页面对应的动态URL分配给后续网络数据获取实例，由后续网络数据获取实例获取商户详情页面，由于不同的网络数据获取实例一般会使用不同的IP地址、不同的账户，在目标网站看来，每个IP、每个账户上没有明显的密集操作，从而使得网络数据获取主体绕过针对网络数据获取行为的识别及拦截技术中对单IP、或者单账号的访问量的限制，以此实现获取大量网络数据的目的。

基于此，如何针对网络数据获取任务调度系统及其获取策略分配机制下的数据获取操作进行精准识别，是目前急需解决的问题。

发明内容

本申请实施例提供一种网络数据获取识别方法、装置、电子设备及计算机可读存储介质，以针对网络数据获取任务调度系统及其获取策略分配机制下的数据获取操作进行精准识别。