[发明专利]基于大数据的流量反作弊方法和装置

说明书

本发明提供一种能够有效识别作弊流量，同时提高防作弊效率，提高RTB广告交易效率的基于大数据的流量反作弊方法和装置。所述方法包括以下步骤：通过监控流量日志，监控新产生的流量请求；加载所述流量请求的发起终端的作弊综合权重；实时根据流量请求的来源信息，屏蔽无效流量请求，筛选出有效流量请求；根据终端作弊综合权重，解析有效流量请求的作弊概率，根据所述有效流量请求的作弊概率，判定本次流量请求是否为真实流量或作弊流量。

技术领域

本发明涉及互联网大数据分析技术领域，尤其涉及大数据流量反作弊的方剂和装置。

背景技术

RTB(RealTime Bidding)实时竞价，是一种利用第三方技术在数以百万计的网站上针对每一个用户展示行为进行评估以及出价的竞价技术。在RTB广告交易模式中，原有的广告生态链发生了变化，整个生态链包括广告主、DSP、广告交易平台以及互联网媒体四个主体。广告主将自己的广告需求放到DSP平台上，互联网媒体将自己的广告流量资源放到广告交易平台，DSP通过与广告交易平台的技术对接完成竞价购买。

由于接入的渠道流量巨大，且实时高并发，对于流量的识别，需要具有高可靠、高扩展、高效、高容错、低成本等特性，用于对海量数据的高效分析和处理。但是目前的网络广告生态圈中，存在着不少作弊流量。作弊流量利用伪造网站、伪造广告点击等各种不同方式来赚取广告主用于网络宣传的经费。如果在网络广告生态圈中的需求方平台(DSP)中采用这种作弊流量，竞价成功并展示广告成功，那么广告主为该流量的花费并没有投放给广告主的正确目标人群，故过滤作弊流量对于DSP来说是一个很重要的步骤。

现有技术中的反作弊技术方案主要包括以下两种模式：

应用Hadoop技术对于离线历史数据的处理能够提供高效适用的解决方案，但对于实时在线的数据处理场景无法满足其需求，对于RTB实时程序化购买竞价流量反作弊有一定的滞后性。

媒体验证分析，对国内媒体备案API的技术验证和APP商店的来源真实性验证，技术上也存在一定的滞后性，更新周期较长，效率有一定的影响

发明内容

本发明是为了现有技术中的流量防作弊方案的技术问题，提供一种能够有效识别作弊流量，同时提高防作弊效率，提高RTB广告交易效率的基于大数据的流量反作弊方法和装置。

本发明的一个实施例中提供了一种基于大数据的流量反作弊方法，所述方法包括以下步骤：

通过监控流量日志，监控新产生的流量请求；

加载所述流量请求的发起终端的作弊综合权重；

实时根据流量请求的来源信息，屏蔽无效流量请求，筛选出有效流量请求；

根据终端作弊综合权重，解析有效流量请求的作弊概率，根据所述有效流量请求的作弊概率，判定本次流量请求是否为真实流量或作弊流量。

作为优选，通过监控流量日志，监控新产生的流量请求的步骤之后包括：解析流量请求的用户ID，标记无用户ID的流量请求为无效流量并屏蔽，根据用户ID识别流量请求的发起终端。

作为优选，所述加载所述流量请求的发起终端的作弊综合权重的步骤包括：

根据流量请求的发起终端判断流量请求是长期稳定流量终端或是未稳定流量终端；

若是稳定流量终端，加载在先存储的作弊综合权重，所述作弊综合权重是从预设的纬度对终端的历史行为进行分析，获得基于所述纬度的作弊综合权重；

若是未稳定流量终端，则从预设的纬度对所述终端的历史行为进行分析，获得基于所述纬度的作弊综合权重。

作为优选，从预设的纬度对终端的历史行为进行分析，获得基于所述纬度的作弊综合权重的步骤，进一步包括：