[发明专利]基于G函数和改进KD树的犯罪大数据点模式分析方法

说明书

本发明公开了一种基于G函数和改进KD树并行计算的犯罪大数据点模式分析方法，本发明针对当下犯罪大数据处理的需求，通过将改进的KD树并行计算结合最邻近距离点模式分析方法(G函数)提供了一种能快速地分析犯罪空间分布模式的方法——基于G函数和改进KD树并行计算的犯罪大数据点模式分析方法。该方法将空间中的犯罪点事件分簇构建KD树，并行计算每个KD树中犯罪点事件的最邻近距离，以起到化整为散，分块并行处理的效果，加快计算效率，提高计算资源的利用率。

技术领域

本发明属于大数据挖掘领域，涉及一种犯罪大数据点模式分析方法，具体涉及一种新型的基于G函数和改进KD树并行计算的犯罪大数据点模式分析方法。

背景技术

随着互联网技术的发展，当今世界已经进入了大数据时代。大数据在形式上是海量有关联数据的集合，在实际应用上泛指收集和分析大量信息的能力。近十几年来，公安机关信息化建设取得了突飞猛进的进展，建立起纵向到底、横向到边的公安信息化网络，各警种业务全面实现了信息化管理，积累起海量的基础业务数据。其中，犯罪数据量大而分散、构成复杂、信息提取困难，使传统的犯罪事件分析管理模式难堪重负，急需深刻转型。而通过对海量数据的收集、整理、归类、分析，可以得出传统手段不易发现的犯罪空间分布特征，进而挖掘数据中蕴藏的巨大价值。

地理学中最为著名的空间点模式研究的例子当推Snow的霍乱地图，该研究终止了1853年发生在伦敦的霍乱病流行。定量化地计算分析空间点分布模式自20世纪60年代计量革命时代盛行，在地学研究中被广泛应用。例如居民点分布的研究(Dacey,1962；King,1962)和冰区内的冰丘分布(Trenhaile,1971)等。随着地理空间信息系统技术的兴起，点模式作为空间分析的重要内容，得到深入研究和广泛应用，出现了最邻近距离算法G函数等模型。

最邻近距离算法G函数可以分析犯罪事件点的空间分布特征，在计算时需要求所有点事件的最邻近点。面对如今海量的犯罪原始数据，传统的遍历搜索方法计算最邻近距离时需要逐个计算中心点与范围内所有点之间的距离，计算时间过长，资源浪费严重，效率低下。

发明内容

为了解决上述技术问题，本发明提供了一种新型的基于G函数和改进KD树并行计算的犯罪大数据点模式分析方法。

本发明所采用的技术方案是：一种基于G函数和改进KD树并行计算的犯罪大数据点模式分析方法，其特征在于，包括以下步骤：

步骤1：数据预处理；

输入所有待处理的犯罪事件点坐标，通过聚类算法将点分为若干个点簇，设定阈值用来判断点簇是否过大，如果是则继续进行聚类分簇，直到每个点簇中点的个数适当；然后对每个点簇采用并行计算策略建立KD树；

步骤2：搜索最邻近点；

对于每个计算点查询其所在的簇，并确定该簇所在的KD树；之后在KD树中搜索得到所有点最邻近的点，并计算出最邻近距离d_min，直到所有输入的点都计算完毕，得到所有点的最邻近距离；

步骤3：计算G函数；

将得到的所有点最邻近距离按照大小排序，计算最邻近距离的变程R和组距D，其中R＝max(d_min)-min(d_min)，根据组距上限值累积计数点的数量，并计算累积频率G(d)；

步骤4：进行显著性检验并得到分析结果；

使用蒙特卡洛随机模拟的方法，若随机模拟分布函数大于上界U(d)的概率和小于下界L(d)的概率符合则计算结果满足显著性检验指标，输出G(d)关于距离d的曲线图，判断点数据的空间分布模式；随着距离d的变化，犯罪事件统计频率发生变化，如果点事件在空间中趋向聚集分布，G函数值会在较短的距离内快速上升；如果点模式中事件趋向分散分布的，那么G函数值增加得就比较缓慢。