[发明专利]一种RTB竞价广告位价值分析方法及系统

说明书

本发明提供了一种RTB竞价广告位价值分析方法，并包括如下步骤：一、运用Hadoop集群的MapReduce模块，编写Mapper和Reducer函数，统计出每个host出现的数目，并将统计结果写入Hadoop FS文件系统中；二、将统计结果从Hadoop FS文件系统导入Redis数据库，过滤掉访问大于上限次数和小于下限次数的网站的URL，得到URL列表文件；三、依据上述获得host列表，编写网络爬虫去爬取每个网站的html源码，依据广告的特征计算出html源码中广告的属性，并将所述属性保存为广告统计结果文件；四、将所述广告统计结果文件与URL列表文件合并，获得RTB竞价中高价值网站网站的广告统计列表，对网站广告价值评分标准建模。本发明还提供一种RTB竞价广告位价值分析方法的系统。

技术领域

本发明属于大数据处理技术领域，具体地涉及一种RTB竞价广告位价值分析方法及系统。

背景技术

实时竞价(Real-Time Bidding)广告简称为RTB广告，2010年最先在美国兴起，并很快被引入国内。对于RTB广告，从不同的角度有不同的理解。从用户数据分析的角度，RTB广告是一种在用户数据分析基础上针对每个用户的广告展示行为展开实时竞价的广告类型。而从技术和平台的宏观角度出发，RTB广告是一种模仿股票交易模式，通过机器算法实现实时自动买卖的广告类型。

在RTB广告的交易过程中，实时竞价技术是最关键的技术，需求方(Demand SidePlatform，简称DSP)会向媒体采购广告位，广告位的价值是DSP出价高低的关键因素。一般情况下，DSP会接入海量的网站的广告位，如何判断广告位是否值得竞价购买或出价多少购买是困扰DSP的一个难题。

但是，从经济和高效的角度出发，DSP更愿意购买访问量不高且页面较为优质的网站的广告位，主要原因有两个，第一，在以前这是不被重视的市场，因此往往具有相对低廉的价格优势；第二是此类网站市场份额虽小，但由于数量众多，是一个巨大的微小市场，却也占据了市场中客观的份额，也因此会存在众多优质的广告。

同时，近年来随着技术的进步、互联网速度不断提升、以及移动互联网的更新换代，都使得我们对海量网络数据分析的需求不断加深。而面对成几何级数增长的海量网络数据，很多行业都开始设法将其变“数”为宝，并从中分析挖掘出更具商业价值的数据信息。将大数据分析应用到网站广告位的价值分析上，将更能体现出大数据的商业和技术优势。

但是，面对海量网络数据分析之前需要面对如下的一些问题，诸如未能与时俱进的磁盘数据读取速度问题、硬件故障常态化的问题等等。Hadoop集群是一种专门为存储和分析海量非结构化数据而设计的特定类型的集群。本质上，它是一种计算集群，即将数据分析的工作分配到多个集群节点上，从而并行处理数据。使用Hadoop集群最大的好处在于它非常适合大数据分析，而它的两大核心技术HDFS和MapReduce更是将大数据处理提高到了一个新的水平。HDFS是分布式文件系统，它所具有的高容错高可靠性、高可扩展性、高获得性、高吞吐率等特征为海量数据提供了不怕故障的存储，为超大数据集的应用处理带来了很大的便利。而MapReduce是指一种处理海量数据的并行编程模型和计算框架，用于对大规模数据集的并行计算。

因此，有必要提供出一种RTB竞价广告位价值分析方法。

发明内容

本发明的目的在于提供一种RTB竞价广告位价值分析方法。