[发明专利]一种网站检测的方法和系统有效
申请号: | 201910457676.6 | 申请日: | 2019-05-29 |
公开(公告)号: | CN110336790B | 公开(公告)日: | 2021-05-25 |
发明(设计)人: | 陈潜森;林汉荣;秦诚 | 申请(专利权)人: | 网宿科技股份有限公司 |
主分类号: | H04L29/06 | 分类号: | H04L29/06;H04L29/08;G06K9/34;G06K9/62 |
代理公司: | 北京华智则铭知识产权代理有限公司 11573 | 代理人: | 王昌贵 |
地址: | 200030 上海市徐汇*** | 国省代码: | 上海;31 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 一种 网站 检测 方法 系统 | ||
1.一种网站检测的方法,其特征在于,所述方法应用于边缘计算系统,所述边缘计算系统包括云平台和分布式部署的多台边缘设备,其中:
所述云平台接收携带有目标URL的网站检测请求,将所述网站检测请求转发至与所述目标URL的源站距离小于预设阈值且属于同一运营商的目标边缘设备;
所述目标边缘设备获取所述目标URL对应的页面截图,基于预设的文字识别算法和/或图片分析模型分析所述页面截图,生成分析结果,所述分析结果包括文本分析结果和图片分析结果;所述目标边缘设备根据所述图片分析结果对所述图片分析模型进行训练,以更新所述图片分析模型的模型参数;
所述目标边缘设备向所述网站检测请求的发送端反馈所述分析结果;
所述方法还包括:
所述云平台选取多台目标边缘设备共同对所述目标URL进行检测;
所述目标边缘设备生成分析结果后,将所述分析结果反馈给所述云平台;
所述云平台对所有目标边缘设备反馈的分析结果进行汇总整理,向所述网站检测请求的发送端反馈汇总整理后的分析结果。
2.根据权利要求1所述的方法,其特征在于,所述基于预设的文字识别算法和/或图片分析模型分析所述页面截图,生成分析结果,包括:
所述目标边缘设备基于OCR技术识别所述页面截图中的文字,并基于AC自动机算法将识别出的文字与违规文本库进行比对,生成文本分析结果;和/或,
所述目标边缘设备基于图片分析模型检测所述页面截图中是否包含违规图片,生成图片分析结果。
3.根据权利要求2所述的方法,其特征在于,所述目标边缘设备根据所述图片分析结果对所述图片分析模型进行训练,包括:
如果接收到所述发送端发送的结果确认消息,所述目标边缘设备则根据所述图片分析结果对所述图片分析模型进行训练,否则丢弃所述图片分析结果。
4.根据权利要求2所述的方法,其特征在于,所述目标边缘设备根据所述图片分析结果对所述图片分析模型进行训练之前,还包括:
所述目标边缘设备基于预设的图片信息检测算法对所述图片分析结果进行检测,根据检测结果调整所述图片分析结果;或者,
所述目标边缘设备接收针对所述图片分析结果的人工调整指令,根据所述人工调整指令调整所述图片分析结果。
5.根据权利要求2所述的方法,其特征在于,所述方法还包括:
所述目标边缘设备周期性向所述云平台发送所述图片分析模型的模型参数;
所述云平台周期性基于每台边缘设备最新上传的图片分析模型的模型参数,更新每台边缘设备对应的图片分析模型的模型参数;
所述云平台向每台边缘设备反馈对应的更新后的图片分析模型的模型参数。
6.根据权利要求1所述的方法,其特征在于,所述边缘计算系统包括负载均衡设备和多个云平台;
所述云平台接收携带有目标URL的网站检测请求之前,还包括:
所述负载均衡设备接收携带有目标URL的网站检测请求,根据多个所述云平台的运行状态,将所述网站检测请求转发至目标云平台。
7.一种网站检测的系统,其特征在于,所述系统包括云平台和分布式部署的多台边缘设备,其中:
所述云平台,用于接收携带有目标URL的网站检测请求,将所述网站检测请求转发至与所述目标URL的源站距离小于预设阈值且属于同一运营商的目标边缘设备;
所述目标边缘设备,用于获取所述目标URL对应的页面截图,基于预设的文字识别算法和/或图片分析模型分析所述页面截图,生成分析结果,所述分析结果包括文本分析结果和图片分析结果;所述目标边缘设备根据所述图片分析结果对所述图片分析模型进行训练,以更新所述图片分析模型的模型参数;
所述目标边缘设备,用于向所述网站检测请求的发送端反馈所述分析结果;
所述云平台,还用于选取多台目标边缘设备共同对所述目标URL进行检测;
所述目标边缘设备,还用于生成分析结果后,将所述分析结果反馈给所述云平台;
所述云平台,还用于对所有目标边缘设备反馈的分析结果进行汇总整理,向所述网站检测请求的发送端反馈汇总整理后的分析结果。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于网宿科技股份有限公司,未经网宿科技股份有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201910457676.6/1.html,转载请声明来源钻瓜专利网。