[发明专利]一种基于Hadoop的FLASH P2P流媒体实时监测方法

说明书

本发明涉及一种基于Hadoop的FLASH P2P流媒体实时监测方法，所述方法包括客户端启动作业，通过任务调度器获取该作业，并将其放入作业队列中；通过所述客户端开启嗅探器，获取数据包，将所述数据包发送给HDFS；从所述HDFS获取输入划分信息，创建映射任务，并将每个映射任务分配给任务跟踪器；所述任务跟踪器收到映射任务后，从HDFS获取映射化简程序MapReduce，同时对该任务执行映射和化简。由此克服了数据量庞大不能及时处理的缺陷。

技术领域

本发明涉及一种实时监测方法，具体涉及一种基于Hadoop的FLASH P2P流媒体实时监测方法。

背景技术

FLASH P2P技术是现在视频网站用的比较成熟的技术。Flash P2P视频点播系统则使用Flash P2p技术，提供了一种全新分发点播视频的方式，在保证观众良好观看体验的同时降低了服务器负担和带宽使用，显著提高视频服务器的并发量和降低服务器和带宽成本。目前国内多家视频门户网站采用了Flash P2P技术，例如优酷、爱奇艺、搜狐等。

Hadoop是基于分布式技术、并行处理技术和网格计算技术发展的产物,是为了适应用海量数据和大规模计算等新需求而发展出来的模型架构。Hadoop也是一个分布式存储和分布式计算的框架,可以高效的存储海量数据,而且可以运行、编写分布式应用程序处理海量数据。一方面Hadoop在编写和运行大型分布式程序计算方面具有很大优势,主要是Hadoop具有的方便和简捷的特性。另一方面,Hadoop具有极高的拓展性,使得Hadoop在研究和应用领域得到了广泛的应用，且广受欢迎。

Hadoop数据中心由连接在一起的千上万的计算机构成,用户通过普通电脑接入就可以使用数据中心,根据自己的需求进行存储。HDFS作为Hadoop的分布式文件系统,具有高度的稳定性和存储效率；提供了高效的数据存储,为用户提供快速、稳定的数据存储服务。Map(化简)Reduce(映射)是Hadoop的核心计算数据模型，用户在使用Map(化简)Reduce(映射)模型进行大规模数据处理时,可以将主要精力放在如何编写Map(化简)和Reduce(映射)函数上,其它并行计算中的复杂问题诸如分布式文件系统、工作调度、容错、机器间通信等都交给Map(化简)Reduce(映射)系统处理,极大程度上降低了整个编程的难度。

发明内容

为了实现上述目的，本发明提出一种基于hadoop的FLASH P2P流媒体实时监测技术，提高了视频的数据处理能力，更好的分析用户行为，优化了网站内容，解决了数据量庞大而无法及时处理的问题，同时更具极高的时效性，商用性。

本发明的目的是采用下述技术方案实现的：

一种基于Hadoop的FLASH P2P流媒体实时监测方法，所述方法包括：

(1)客户端启动作业，通过任务调度器获取该作业，并将其放入作业队列中；

(2)通过所述客户端开启嗅探器，获取数据包，将所述数据包发送给HDFS；

(3)从所述HDFS获取输入划分信息，创建映射任务，并将每个映射任务分配给任务跟踪器；

(4)所述任务跟踪器收到映射任务后，从HDFS获取映射化简程序Map(化简)Reduce(映射)，同时对该任务执行映射和化简。

优选的，所述步骤(1)中，所述作业用于将FLASH P2P流量从网络流量中分离；

优选的，所述步骤(2)中，每隔0.1s将获取的数据包发送给HDFS；其中，所述数据包包括TCP、UDP、HTTP和DNS。