[发明专利]基于Spark集群的多数据源位置信息融合方法及系统

权利要求书

1.一种基于Spark集群的多数据源位置信息融合方法，其特征在于：包括如下步骤：

一、通过接口接收海量位置信息数据，所述位置信息数据来源于省级运营商的信令采集系统以及互联网用户行为大数据平台；

二、通过预处理程序将采集到的文本文件进行加密、清洗，剔除无效数据，处理后的数据实时放入Kafka中；

三、通过Spark Streaming对实时的数据进行处理，包括对实时位置的计算、融合、统计、轨迹生成操作获得全量位置信息，并将处理后的所述全量位置信息存入到Redis数据库中；

四、在所述Redis数据库中，按设定的周期对所述全量位置信息进行切片导出，将导出的数据存入到HDFS中，通过Spark SQL接口提供给上层应用调用查询历史数据。

2.根据权利要求1所述的基于Spark集群的多数据源位置信息融合方法，其特征在于：在步骤二中通过预处理程序将采集到的文本文件进行加密、清洗，剔除无效数据步骤包括如下步骤：

通过Socket接口，从信令共享平台接收实时的信令数据，从无线网优平台获取无线网优话单数据；

对每一条信令数据进行判断处理，收取与位置相关的信令信息；

对信令数据进行清洗过滤，剔除字段缺失、字段异常等错误或无效的数据；

对获取的位置信令信息与标准化的基站基础信息进行匹配关联，得到经纬度信息。

3.根据权利要求1所述的基于Spark集群的多数据源位置信息融合方法，其特征在于：所述步骤一中，所述位置信息数据包括基站位置数据、通话短信数据、无线话单数据信息、GPS数据、Wifi上网记录数据和4G信令数据。

4.根据权利要求3所述的基于Spark集群的多数据源位置信息融合方法，其特征在于：在步骤三中，融合遵循数据准确度优先级，越精确的数据优先级最高，数据精确性优先级从高到低为GPS数据、4G数据、2G/3G基站位置数据。

5.根据权利要求1所述的基于Spark集群的多数据源位置信息融合方法，其特征在于：在步骤四中，对于Redis中的实时位置数据，可以提供实时的API查询统计数据，供上层应用使用。

6.一种根据权利要求1-5任一所述的基于Spark集群的多数据源位置信息融合方法的系统，其特征在于：包括：实时数据采集过滤模块、实时数据融合模块和数据分析扩散模块，

所述实时数据采集过滤模块，用于通过接口接收海量位置信息数据，并通过预处理程序将采集到的文本文件进行加密、清洗，剔除无效数据，处理后的数据实时放入Kafka中；

所述实时数据融合模块，用于通过Spark Streaming对实时的数据进行处理，包括对实时位置的计算、融合、统计、轨迹生成操作获得全量位置信息，并将处理后的所述全量位置信息存入到Redis数据库中；

所述数据分析扩散模块，用于按设定的周期对所述全量位置信息进行切片导出，将导出的数据存入到HDFS中，通过Spark SQL接口提供给上层应用调用查询历史数据。

7.根据权利要求6所述的系统，其特征在于：在所述实时数据融合模块中，融合遵循数据准确度优先级，越精确的数据优先级最高，数据精确性优先级从高到低为GPS数据、4G数据、2G/3G基站位置数据。

8.根据权利要求6所述的系统，其特征在于：在所述数据分析扩散模块中，基于融合性数据源，利用Spark集群离线计算能力，对HDFS中的存量数据进行分析、统计、扩样，并封装成相应的API接口。