[发明专利]一种大数据中流计算平台下的点对点流媒体实时监测方法

权利要求书

1.一种大数据中流计算平台下的点对点流媒体实时监测方法，其特征在于该方法为：工作服务器接收到作业后，将接收到的作业放在一个作业队列里，等待作业调度器对该作业进行调度，当作业调度器根据自己的调度算法调度到该作业时，会根据输入划分信息为每个划分创建一个map任务，并将map任务分配给任务服务器执行；任务服务器根据主机核的数量和内存的大小有固定数量的map槽和reduce槽为map与reduce分配任务；其中，map是一种由接受一组数据并将其转换为一个键/值对列表的函数，reduce是一种将map函数产生结果合并的函数；进行map输入时，需要将数据按照规定的格式输入；在map阶段，通过筛选用户数据报协议UDP数据报，同时将筛选出的结果进行二次map；在map输出阶段，需要将数据结果放入至缓存区；在reduce阶段，通过reduce任务将所有结果进行合并输出；

在进行输入map时，对一个map任务应指明输入/输出的位置即路径,输入目录下的数据文件由于已经按照每0.1s抓取所以并不需要切割,抓取的数据块以键/值对形式的格式读入，这个阶段的键值为数据包类型，键值数据值为抓取的UDP数据包，将map任务分配给含有该map处理的数据任务服务器上，同时将代码程序包复制到该任务服务器上来运行，其中作业调度器将周期性的向工作服务器发送心跳包，在心跳包中作业调度器告知工作服务器其已经准备运行一个新的任务，那么工作服务器会调动map从Hadoop流计算平台中获取新的数据块，并不需要重新获取其他信息。

2.根据权利要求1所述的大数据中流计算平台下的点对点流媒体实时监测方法，其特征在于，在map阶段，通过map函数根据数据类型筛选出UDP数据包，生成中间键值对，其中键值为UDP这个数据包类型，键值数据值为UDP数据包，其他数据包则被删掉；由于需要将点对点视频流量分离出来，需要做二次Map计算；将第一次Map中间输出数据重新作为数据,进行二次Map，其键值对也会重新定义，其中键值为数据包的会话编码，判断会话编码是否能被4整除，若可以则判断出此包为RTMFP包，其中RTMFP为点对点视频协议，即为点对点视频流量数据包。

3.根据权利要求1所述的大数据中流计算平台下的点对点流媒体实时监测方法，其特征在于map输出阶段，输出的结果会暂且放在一个环形内存缓冲区中，当该缓冲区快要溢出时，会在本地文件系统中创建一个溢出文件，将该缓冲区中的数据写入这个文件；当缓冲区中数据的到达一定的大小，就会将数据开始写入硬盘；在写入硬盘之前，首先根据reduce任务的数目将数据划分为相同数目的分区，也就是一个reduce任务对应一个分区的数据。

4.根据权利要求1所述的大数据中流计算平台下的点对点流媒体实时监测方法，其特征在于在Reduce阶段，reduce任务向工作服务器获取对应的map输出位置，获取输出的map数据，进行reduce整合输出。