[发明专利]一种大数据中流计算平台下的点对点流媒体实时监测方法

摘要

本发明是给出一种大数据中流计算平台下的点对点流媒体实时监测方法。分布式架构为Hadoop系统，点对点流媒体指的是Flash P2P数据。我们所提出的方法主要用于快速提取Flash P2P流量数据,从中再提取出隐含的、未知的、潜在的和有用的信息，使分析出的数据更加具有时效性，主要是用于解决将FLASH P2P迅速从巨大的总流量中快速实时分离出来这个问题，只有将FLASH P2P流量分离出来才能快速找到该隐含的信息，进行商用。通过HDFS存储实时数据，Mapreduce程序根据处理能力处理数据，对所有的数据进行两次map，筛选出符合要求的数据，其他数据则被删除。对数据进行reduce时，因为不需要做别的处理，可以直接整合输出。

主权项

1.一种大数据中流计算平台下的点对点流媒体实时监测方法，其特征在于该方法为：工作服务器接收到作业后，将接收到的作业放在一个作业队列里，等待作业调度器对该作业进行调度，当作业调度器根据自己的调度算法调度到该作业时，会根据输入划分信息为每个划分创建一个map任务，并将map任务分配给任务服务器执行；任务服务器根据主机核的数量和内存的大小有固定数量的map槽和reduce槽为map与reduce分配任务；其中，map是一种由接受一组数据并将其转换为一个键/值对列表的函数，reduce是一种将map函数产生结果合并的函数；进行map输入时，需要将数据按照规定的格式输入；在map阶段，通过筛选用户数据报协议UDP数据报，同时将筛选出的结果进行二次map；在map输出阶段，需要将数据结果放入至缓存区；在reduce阶段，通过reduce任务将所有结果进行合并输出；在进行输入map时，对一个map任务应指明输入/输出的位置即路径,输入目录下的数据文件由于已经按照每0.1s抓取所以并不需要切割,抓取的数据块以键/值对形式的格式读入，这个阶段的键值为数据包类型，键值数据值为抓取的UDP数据包，将map任务分配给含有该map处理的数据任务服务器上，同时将代码程序包复制到该任务服务器上来运行，其中作业调度器将周期性的向工作服务器发送心跳包，在心跳包中作业调度器告知工作服务器其已经准备运行一个新的任务，那么工作服务器会调动map从Hadoop流计算平台中获取新的数据块，并不需要重新获取其他信息。