[发明专利]一种基于代码分析与图像处理的网页广告屏蔽方法

说明书

本发明为一种基于代码分析与图像处理的网页广告屏蔽方法：前端脚本监听DOMContentLoaded事件获得触发该事件的DOM树；然后递归地遍历该DOM树识别可能包含的广告标识；接着制定相应规则避免网页正常图像发送到后端判断，对于可能包含广告标识的图像利用AJAX技术发送到后端进行判断；后端监听前端请求，利用图像文本识别模型对请求的图像进行判断，并将结果返回给前端脚本；最后根据广告标识识别广告区域，并对广告区域进行屏蔽。

技术领域

本发明属于计算机技术领域，尤其是软件工程技术领域。本发明采用一种基于代码分析与图像处理的方法对网页广告进行屏蔽，通过此方法可以免去高昂的人力和时间维护屏蔽规则列表成本，能有效降低网页广告屏蔽的误报和漏报率。

背景技术

随着互联网的快速发展和日渐流行，网页已经成为人们获取信息的重要来源。网页在给用户提供有用信息的同时，也充斥着各种商业广告。这些广告可能占用系统资源，影响网页内容展示，诱导用户访问有害网页，影响用户体验，进而降低用户粘滞性。

这里广告指的是展示广告，即这些广告都是自动地被加载到网页中，不需要用户点击。这类广告目前非常流行，并且占据较高的比例。这类广告基于Web架构来进行传播，涉及发布者、广告商、广告网络、广告联盟、用户等角色的参与。发布者即网站的拥有者，他们主要发布网站的正常内容，也可能售卖广告位给一些广告商，并根据用户的浏览量或点击量来获利。广告商创造了广告，是在线广告的税收来源。在广告的传播过程中，广告网络扮演着匹配发布者与广告商的角色。大的广告网络(比如Google Display Network)提供了广告商可以选择发布者并指定用户的平台。此外，广告网络还可以通过广告联盟再次售卖他们的广告位。用户在浏览网页时，广告将展示给用户，当用户点击这些广告时，就会跳转到对应的广告网页中。

目前，一些网页广告屏蔽工具被广泛使用，例如Adblock Plus，Adguard，AdSafe和AdMon。这些软件大多数根据特定的规则列表来屏蔽广告，如Adblock Plus根据特定的列表EasyList来屏蔽广告。Adblock Plus的工作方式主要表现为两个方面：一个是进行网络的控制，另一个是对于页面的处理。网络控制是指当网站发出HTTP请求时，Adblock Plus会判断所请求的URL是否在其规则列表EasyList中，如果在的话，则阻止此请求，从而达到屏蔽广告的效果。而对于页面的处理是指当页面元素的id，class等其它属性值与EasyList中的规则相匹配时，则移除或者使得该元素不显示，以达到屏蔽广告的效果。尽管这种基于规则匹配的方式能屏蔽部分广告，但是这也会导致误报与漏报情况的发生。特别地，这种基于规则列表屏蔽广告的方法需要根据用户的反馈进行不断的维护，消耗了大量的时间与人力成本。此外，随着网页随机化技术的出现，基于过滤规则匹配的方法就会失效。另外，由于开发人员在定义元素id或class属性值时可能误用过滤规则列表中的内容，导致此类方法错误屏蔽正常的网页内容。

此外，一些方法通过对JavaScript的源代码进行静态程序分析，从中识别出加载和展示广告的JavaScript脚本。其具体方法是从JavaScript代码中提取相应的特征构建分类器，再利用训练好的分类器判断某个JavaScript脚本文件是否是广告相关的，对广告相关的JavaScript脚本进行屏蔽从而达到屏蔽广告的效果。这个方法的优点是不用不断的维护过滤列表，具有很好的灵活性和扩展性。但因为JavaScript的脚本随着网页技术的不断变化，就需要不断提取新的特征，构建合适的分类器，才能达到较好的效果。

另一些方法不是从加载的JavaScript脚本中提取特征，而是从Adblock Plus基于的过滤列表EasyList中提取特征，根据这些提取的特征训练分类器，然后使用训练好的分类器对新的内容进行判断，从而减少了人工的干预及成本。但是这种根据规则列表来训练得到的分类器，精度完全取决于原先的规则列表，所以效果还有待提高。