[发明专利]一种防止网络爬虫窃取隐私数据的方法、训练方法及装置有效
| 申请号: | 201911284559.0 | 申请日: | 2019-12-13 |
| 公开(公告)号: | CN111107074B | 公开(公告)日: | 2022-04-08 |
| 发明(设计)人: | 宗志远 | 申请(专利权)人: | 支付宝(杭州)信息技术有限公司 |
| 主分类号: | H04L9/40 | 分类号: | H04L9/40;G06F21/62;G06F16/951 |
| 代理公司: | 北京国昊天诚知识产权代理有限公司 11315 | 代理人: | 许振新 |
| 地址: | 310000 浙江省杭州市*** | 国省代码: | 浙江;33 |
| 权利要求书: | 查看更多 | 说明书: | 查看更多 |
| 摘要: | |||
| 搜索关键词: | 一种 防止 网络 爬虫 窃取 隐私 数据 方法 训练 装置 | ||
本说明书实施例提供一种防止网络爬虫窃取隐私数据的方法、训练方法及装置。防止网络爬虫窃取隐私数据的方法包括:从目标客户端的网络流量数据中提取目标客户端在预设时间段内的应用程序接口API访问记录。基于目标客户端的API访问记录,生成待识别数据,所述待识别数据包括以时间和API访问量为维度的目标客户端在预设时间段内的API访问二维图。将待识别数据输入至网络爬虫识别模型,以得到所目标客户端的网络识别结果,其中,网络爬虫识别模型是基于样本数据和样本数据的网络爬虫分类标签训练得到的,样本数据包括以时间和API访问量为维度的样本用户在预设时间段内的API访问二维图。对目标客户端执行与网络爬虫识别结果相匹配的隐私数据保护措施。
技术领域
本文件涉及数据安全技术领域,尤其涉及一种防止网络爬虫窃取隐私数据的方法、训练方法及装置。
背景技术
互联网公司在向用户提供服务的同时,也为信息爬取提供了机会。网络爬虫只需要编写好自动化脚本,并在用户有意识或无意识授权下,即可在各个互联网公司中过度采集用户的隐私数据。这些用户个人的敏感信息被存储在爬取公司,很容易导致大规模的数据泄露发生。
为此,当前迫切需要一种能够自动识别网络爬虫,并防止网络爬虫窃取隐私数据的技术方案。
发明内容
本说明书实施例目的是提供一种方法防止网络爬虫窃取隐私数据的方法、训练方法及装置、装置及电子设备,能够机械化识别网络爬虫,并防止网络爬虫窃取隐私数据。
为了实现上述目的,本说明书实施例是这样实现的:
第一方面,提供一种防止网络爬虫窃取隐私数据的方法,包括:
从目标客户端的网络流量数据中提取所述目标客户端在预设时间段内的应用程序接口API访问记录;
基于所述目标客户端在所述预设时间段内的应用程序接口API访问记录,生成待识别数据,所述待识别数据包括以时间和API访问量为维度的所述目标客户端在所述预设时间段内的API访问二维图;
将所述待识别数据输入至网络爬虫识别模型,以得到所述目标客户端的网络识别结果,其中,所述网络爬虫识别模型是基于样本数据和所述样本数据的网络爬虫分类标签训练得到的,所述样本数据包括以时间和API访问量为维度的所述样本用户在所述预设时间段内的API访问二维图;
对所述目标客户端执行与所述网络爬虫识别结果相匹配的隐私数据保护措施。
第二方面,网络爬虫识别模型的训练方法,包括:
从样本客户端的网络流量数据中提取所述样本客户端在预设时间段内的应用程序接口API访问记录;
基于所述样本客户端在所述预设时间段内的应用程序接口API访问记录,生成样本数据,所述样本数据包括以时间和API访问量为维度的所述样本客户端在所述预设时间段内的API访问二维图;
基于所述样本数据和预先为所述样本数据标注的网络爬虫分类标志,对网络爬虫识别模型进行训练。
第三方面,提供一种防止网络爬虫窃取隐私数据的装置,包括:
记录提取模块,从目标客户端的网络流量数据中提取所述目标客户端在预设时间段内的应用程序接口API访问记录;
图像生成模块,基于所述目标客户端在所述预设时间段内的应用程序接口API访问记录,生成待识别数据,所述待识别数据包括以时间和API访问量为维度的所述目标客户端在所述预设时间段内的API访问二维图;
爬虫识别模块,将所述待识别数据输入至网络爬虫识别模型,以得到所述目标客户端的网络识别结果,其中,所述网络爬虫识别模型是基于样本数据和所述样本数据的网络爬虫分类标签训练得到的,所述样本数据包括以时间和API访问量为维度的所述样本用户在所述预设时间段内的API访问二维图;
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于支付宝(杭州)信息技术有限公司,未经支付宝(杭州)信息技术有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201911284559.0/2.html,转载请声明来源钻瓜专利网。





