[发明专利]一种RTB竞价广告位价值分析方法及系统

权利要求书

1.一种RTB竞价广告位价值分析方法,其特征在于:包括如下步骤：

一、输入互联网的网络数据到Hadoop集群中，并运用Hadoop集群的MapReduce模块，编写Mapper和Reducer函数，统计出每个host出现的数目，并将统计结果写入Hadoop FS文件系统中；

二、将统计结果从Hadoop FS文件系统中导出，并导入Redis数据库，在Redis中，过滤掉访问大于上限次数和小于下限次数的网站的URL,并使得文本以特定的格式保存，得到URL列表文件；

三、依据获得RTB竞价中高价值网站的URL列表文件，编写网络爬虫去爬取每个网站的html源码，依据广告的特征计算出html源码中广告的属性，并将所述属性保存为广告统计结果文件；

四、将所述广告统计结果文件与URL列表文件合并，依据访问量进行排序，获得RTB竞价中高价值网站的广告统计列表，对网站广告价值评分标准建模，并对Hadoop筛选结果和爬虫结果进行量化分析；

在步骤四中分析得到的结果为：网站广告位的价值分别与网站访问量及排名、网站精美度、网站广告位数量和网站非法性有关；

在对所述网站访问量及排名的量化分析中，适中访问量的量化标准为：

在对所述网站精美度的量化分析中，精美度影响系数Q的量化标准为：

其中，G为网站精美度的贡献系数,T和W分别为网页中图片链接数和文字链接数；

在对所述网站广告位数量的量化分析中，设内嵌广告位的数量价值系数为P,q为内嵌广告位数量，计算公式为：

在对所述网站非法性的量化分析中，设非法系数为F,根据经验对所述非法系数F进行判断。

2.根据权利要求1所述的RTB竞价广告位价值分析方法,其特征在于:在步骤一中，具体包括如下步骤：

从每条DPI日志的URL字段中抽取Host；

在每个Mapper中建立字典，字典的Key为Host字符串，值为该Key出现的频次，每当有重复的Key出现时，对应的值就增加一,当Mapper的循环结束时，将字典的信息Key和Value打印出来交由Reducer汇总统计；

在Reducer中,Mapper的输出被还原为字典，Key为Host字符串，值为Mapper阶段各个节点的输出，随后Reducer对相同的Key进行值合并，得到最终的频次之和，并统计输出；

将统计结果写入Hadoop FS文件系统中。

3.根据权利要求1所述的RTB竞价广告位价值分析方法，其特征在于:在步骤二中,网站访问次数的上限次数和下限次数均建模得出，建模公式为：

其中,N_f表示判断RTB竞价高价值网站访问次数上限次数，N_b表示高价值网站访问次数下限次数，M表示网站的总个数，N₁、N₂、…N_M分别代表网站访问从第一至第M个的网站的访问次数。

4.根据权利要求1所述的RTB竞价广告位价值分析方法，其特征在于:所述高价值网站为网站访问量处于N_f、N_b之间的网站。

5.根据权利要求1所述的RTB竞价广告位价值分析方法,其特征在于:在步骤三中，具体包括如下步骤：

根据URL对指定网页进行内容获取；

使用爬虫爬取网页的标题、关键字、描述和正文的字段，并将爬取的结果作为值，网页URL作为键，以文本的形式存入HDFS中，随后利用基于hadoop的分布式分词软件，对海量文本数据进行分词处理；

对于源码本身，则进行多模式匹配，寻找源码中的加载广告位的代码，用于分析其网页中广告位的信息，并输出到爬虫结果文件中；

爬取网站网页的编写模板和插件，以及图片超链接数量和文字超链接数量，来确定网站精美度。

6.根据权利要求1所述的RTB竞价广告位价值分析方法,其特征在于:在步骤三中,所述广告的属性包括网站精美度、网站广告位数量和网站非法性。