[发明专利]一种位置分析方法

摘要

本发明一种位置分析方法涉及LBS分析领域，具体涉及一种大数据下基于MapReduce和GeoHash算法的用户家庭和工作位置分析方法。通过完成两个MapReduce任务来实现位置分析，第一个MapReduce任务将用户当天二维地理位置信息转换为GeoHash编码，统计每个用户当天进入同一个GeoHash编码即位置区域编码的次数，并将GeoHash编码统计信息输出至分布式文件系统HDFS；第二个MapReduce任务读取中间结果，即前一天和当天保存的GeoHash编码统计信息，对过期数据过滤，合并前一天和当天保存的编码统计信息进行位置分析，输出用户的位置信息和新的中间结果。

主权项

1.一种位置分析方法，其特征在于：通过完成两个MapReduce任务来实现位置分析，第一个MapReduce任务是将用户当天的二维地理位置信息转换为GeoHash编码，即位置区域编码，然后统计每个用户当天进入同一个GeoHash编码即位置区域编码的次数，并将GeoHash编码统计信息输出至分布式文件系统HDFS；第二个MapReduce任务读取中间结果，即前一天保存的GeoHash编码统计信息和当天GeoHash编码统计信息，然后对过期数据进行过滤，合并前一天保存的GeoHash编码统计信息和当天GeoHash编码统计信息进行位置分析，最终输出用户的位置信息和新的中间结果；第一个MapReduce任务的执行步骤如下：1）Map任务以<K,V>格式读取用户当天的地理位置信息，其中K为文件的行数，V为用户的地理位置信息；2）Map任务对每个用户的设定时间段的二维地理位置信息做GeoHash转换，然后调用Partition方法按照用户名字的Hash值进行分片，然后将生成的新的<K,V>格式数据写入环形内存缓冲区；3）当环形内存缓冲区存满溢出时，Map任务将缓冲区的所有<K,V>格式数据本地化，生成临时文件；当所有数据处理完成后，Map任务对所有的临时文件进行合并，并根据K值进行排序，最后生成一个按分区排序的文件，所述分区的个数和Reduce任务的个数一致； 4）Reduce任务从各个Map任务所在远程机器的磁盘上复制数据，若超过阈值则直接写到本地磁盘； 5）Reduce任务对步骤4）中接收到的数据进行合并；6）Reduce任务对步骤5）合并后的数据进行排序，将同一用户的数据排序在一起，排序规则是将同一用户具有相同GeoHash值的数据排序在一起；7）Reduce任务根据步骤6）排序后的数据计算每个用户相同GeoHash编码出现的总次数；8）Reduce任务将GeoHash编码统计信息写入分布式文件系统HDFS。