[发明专利]一种基于Hadoop的FLASH P2P流媒体实时监测方法

权利要求书

1.一种基于Hadoop的FLASH P2P流媒体实时监测方法，其特征在于，所述方法包括：

(1)客户端启动作业，通过任务调度器获取该作业，并将其放入作业队列中；

(2)通过所述客户端开启嗅探器，获取数据包，将所述数据包发送给HDFS；

(3)从所述HDFS获取输入划分信息，创建映射任务，并将每个映射任务分配给任务跟踪器；

(4)所述任务跟踪器收到映射任务后，从HDFS获取映射化简程序MapReduce，同时对该任务执行映射和化简；

所述步骤(4)中执行映射的方法包括：在执行映射前，确认映射任务的输入/输出的路径，并输入目录下的数据文件；获取第一<键，值>、中间<键，值>和第二<键，值>，先根据第一<键，值>进行映射计算，对其输出结果进行第二次映射计算，得到映射输出结果进行化简输出，并将数据输出到设定的目录下；

第一次映射计算，包括通过映射函数根据数据包类型筛选UDP数据包，生成所述中间<键，值>，并删除UDP数据包外的其他数据包，其中键值为该UDP数据包类型，value值为UDP数据包。

2.如权利要求1所述的FLASH P2P流媒体实时监测方法，其特征在于，所述步骤(1)中，所述作业用于将FLASH P2P流量从网络流量中分离。

3.如权利要求1所述的FLASH P2P流媒体实时监测方法，其特征在于，所述步骤(2)中，每隔0.1s将获取的数据包发送给HDFS；其中，所述数据包包括TCP、UDP、HTTP和DNS。

4.如权利要求1所述的FLASH P2P流媒体实时监测方法，其特征在于，第二次映射计算，包括将所述中间<键，值>中的值重新作为数据，进行第二次映射计算，定义第二<键，值>；其中键值为数据包的访问端ID，如果所述访问端ID能够被4整除，则该数据包为FLASH P2P流量数据包。

5.如权利要求1所述的FLASH P2P流媒体实时监测方法，其特征在于，所述化简输出包括：将第二次映射的输出结果放入一个环形缓冲区，当该缓冲区快要溢出时，在本地文件系统中创建一个溢出文件，将该缓冲区中的数据写入该文件；当缓冲区中的数据到达一定大小时，开始写入硬盘；

写入前，将数据划分为与化简任务数目相同的分区；写入时，化简任务向任务调度器获取对应的映射输出位置和数据。

6.如权利要求5所述的FLASH P2P流媒体实时监测方法，其特征在于，所述任务跟踪器周期性的向任务调度器发送心跳包，告知任务调度器运行新的作业，此时任务调度器调动映射从HDFS获取新的数据块，无需重新获取其他信息；所述心跳携带的信息为当前映射任务完成的进度信息；当任务调度器收到作业的最后一个任务完成信息时，把该作业设置为“成功”。