[发明专利]基于Spark集群的多数据源位置信息融合方法及系统

摘要

本发明提供了一种基于Spark集群的多数据源位置信息融合方法，并包括如下步骤通过接口接收海量位置信息数据，所述位置信息数据来源于省级运营商的信令采集系统以及互联网用户行为大数据平台；通过预处理程序将采集到的文本文件进行加密、清洗，剔除无效数据，处理后的数据实时放入Kafka中；通过Spark Streaming对实时的数据进行处理，包括对实时位置的计算、融合、统计、轨迹生成操作获得全量位置信息，并将处理后的所述全量位置信息存入到Redis数据库中；在所述Redis数据库中，按设定的周期对所述全量位置信息进行切片导出，将导出的数据存入到HDFS中，通过Spark SQL接口提供给上层应用调用查询历史数据。本发明还提供一种基于Spark集群的多数据源位置信息融合方法的系统。

主权项

一种基于Spark集群的多数据源位置信息融合方法，其特征在于：包括如下步骤：一、通过接口接收海量位置信息数据，所述位置信息数据来源于省级运营商的信令采集系统以及互联网用户行为大数据平台；二、通过预处理程序将采集到的文本文件进行加密、清洗，剔除无效数据，处理后的数据实时放入Kafka中；三、通过Spark Streaming对实时的数据进行处理，包括对实时位置的计算、融合、统计、轨迹生成操作获得全量位置信息，并将处理后的所述全量位置信息存入到Redis数据库中；四、在所述Redis数据库中，按设定的周期对所述全量位置信息进行切片导出，将导出的数据存入到HDFS中，通过Spark SQL接口提供给上层应用调用查询历史数据。