[发明专利]一种防爬虫方法及装置、计算机可读存储介质、电子设备在审
申请号: | 202110120768.2 | 申请日: | 2021-01-28 |
公开(公告)号: | CN113791965A | 公开(公告)日: | 2021-12-14 |
发明(设计)人: | 李瑞芳;董英姿;王浩;胡景贺;颜伟鹏 | 申请(专利权)人: | 北京沃东天骏信息技术有限公司 |
主分类号: | G06F11/36 | 分类号: | G06F11/36;G06F21/56;G06F16/958 |
代理公司: | 北京律智知识产权代理有限公司 11438 | 代理人: | 王辉;阚梓瑄 |
地址: | 100176 北京市大兴区北京经济*** | 国省代码: | 北京;11 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 一种 爬虫 方法 装置 计算机 可读 存储 介质 电子设备 | ||
本公开涉及计算机技术领域,提供了一种防爬虫方法、装置、计算机可读存储介质及电子设备,该方法包括:后端根据策略数据对页面信息进行封装,以得到封装页面信息,并将所述封装页面信息发送至前端,其中,所述策略数据包括埋点字段、混淆算法、预设数据段;所述前端根据所述预设数据段在所述封装页面信息中确定伪装数据,以及根据所述埋点字段和所述混淆算法配置埋点值;所述前端根据所述埋点值添加所述伪装数据的目标伪装样式,并根据所述目标伪装样式对所述伪装数据进行渲染。本公开能够通过策略数据配置埋点值,并添加目标伪装样式,实现了对页面数据的灵活配置,从而提高防爬虫的准确率。
技术领域
本公开涉及计算机技术领域,特别涉及一种防爬虫方法、防爬虫装置、计算机可读存储介质及电子设备。
背景技术
随着计算机技术的发展,出现了依靠用户的点击量进行收费的业务系统,在这些业务系统中,存在机器刷量爬取业务系统的页面数据模拟用户点击相应的链接,造成点击量虚假的情况。
现有技术中,业务系统的前端和后端约定一个固定的字段作为伪装数据的标识,后端将伪装数据打上伪装标识,前端利用该伪装标识来判断获取到的页面数据是否为伪装数据,根据判断结果进而控制将该页面数据显示或隐藏。并通过前端和后端定期更新作为伪装数据的标识字段,以及定期更新前端埋点方式。但是,作弊团队可以通过优化爬虫脚本,将该类页面数据剔除后再进行模拟点击,或对数据链接进行模拟点击,识别伪装数据标识,即可逃避现有技术中的反爬虫策略。并且,现有技术中的防爬虫技术定期更改字段和前端埋点方式,前端和后端均需要配合修改并上线,灵活性差,策略变更成本高。
鉴于此,本领域亟需开发一种新的防爬虫方法及装置。
需要说明的是,在上述背景技术部分公开的信息仅用于加强对本公开的背景的理解,因此可以包括不构成对本领域普通技术人员已知的现有技术的信息。
发明内容
本公开的目的在于提供一种防爬虫方法、防爬虫装置、计算机可读存储介质及电子设备,进而至少在一定程度上提高防爬虫的效率。
本公开的其他特性和优点将通过下面的详细描述变得显然,或部分地通过本公开的实践而习得。
根据本公开的一个方面,提供一种防爬虫方法,所述方法包括:后端根据策略数据对页面信息进行封装,以得到封装页面信息,并将所述封装页面信息发送至前端,其中,所述策略数据包括埋点字段、混淆算法、预设数据段;所述前端根据所述预设数据段在所述封装页面信息中确定伪装数据,以及根据所述埋点字段和所述混淆算法配置埋点值;所述前端根据所述埋点值添加所述伪装数据的目标伪装样式,并根据所述目标伪装样式对所述伪装数据进行渲染。
在本公开的一些示例性实施例中,所述页面信息包括多条页面数据,所述页面数据包括真实数据和所述伪装数据;后端根据策略数据对页面信息进行封装,以得到封装页面信息,包括:所述后端获取所述页面信息,以及所述埋点字段、所述混淆算法、所述预设数据段;通过第一随机函数和所述预设数据段生成与所述真实数据和所述伪装数据对应的目标数据;根据所述目标数据和所述策略数据对所述页面信息进行封装,以生成所述封装页面信息。
在本公开的一些示例性实施例中,通过第一随机函数和所述预设数据段生成与所述真实数据和所述伪装数据对应的目标数据,包括:若所述页面数据为所述真实数据,则通过所述第一随机函数生成所述预设数据段范围之外的第一数据,并将所述第一数据配置为与所述真实数据对应的目标数据;若所述页面数据为所述伪装数据,则通过所述第一随机函数生成所述预设数据段范围之内的第二数据,并将所述第二数据配置为与所述伪装数据对应的目标数据。
在本公开的一些示例性实施例中,前端根据所述预设数据段在所述封装页面信息中确定伪装数据,包括:所述前端获取所述封装页面信息中的所述目标数据,根据所述目标数据和所述预设数据段在所述封装页面信息中确定所述伪装数据。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于北京沃东天骏信息技术有限公司,未经北京沃东天骏信息技术有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202110120768.2/2.html,转载请声明来源钻瓜专利网。