[发明专利]一种GIS异常数据的检测方法

说明书

本发明公开了一种GIS异常数据的检测方法，在GIS数据的预处理时，先处理其常见的数据长度不标准，数据格式不规范，经度和纬度的交叉错误；然后对预处理后相对标准的数据我们再使用孤立森林对数据建立异常检测模型，识别出其中的异常坐标，并且对新增的数据此模型可以迅速的识别其是正常值还是异常值；本方法复杂度较低，非常适用于大数据的异常检测，能够适应GIS数据日益增长的趋势。

技术领域

本发明属于电力系统技术领域，更为具体地讲，涉及一种GIS异常数据的检测方法。

背景技术

GIS数据是重要的记录变电站地理位置信息的数据。变电站地理位置信息数据是非常重要的数据，其直接影响到所有基于地理位置信息构建的服务和应用。

但是电网的GIS数据却存在大量异常问题，数据存在格式混乱，如：数据长短不一，部分列数据缺失；坐标记录错误，如：经纬度的值有度分秒与小数两种格式混用，经度与纬度记录位置交叉等问题。

由于GIS数据会随时的增加，而如果每次增加数据都把所有数据重新再处理一遍，就会太过低效。isolationForest(孤立森林)是一种高效的异常检测算法，检测速度快，性能好，特别适合大数据做实时的异常检测。所以在经过规范处理之后，将规范的数据作为，isolationForest的训练数据，得到异常检测模型。以后对GIS增加的数据，都先通过这个模型进行判断，如果通过异常检测则插入数据库，如果识别为异常数据则标记。

发明内容

本发明的目的在于克服现有技术的不足，提供一种GIS异常数据的检测方法，利用孤立森林异常检测模型来判断待检测数据，具体简单、快速且准确等特点。

为实现上述发明目的，本发明一种GIS异常数据的检测方法，其特征在于，包括以下步骤：

(1)、GIS异常数据预处理

对存储GIS异常数据的数据表进行按行读取，再以每一行中单个GIS异常数据为单位，将每一行GIS异常数据分割为一个数组，并取数组长度；

以数据表表头规定长度为标准，判断每一个数组长度是否出现异常，如果出现异常，则将数组长度小于表头规定长度的数组，在数组尾部补空字符，使其长度相等，或者将数组长度大于表头规定长度的数组，在数组尾部截掉大于表头规定长度的部分，使其长度相等；如果未出现异常，则保持不变；

(2)、数据表中存储的坐标数据并处理

读取数据表中坐标数据，包括经度和纬度，统一成[经度,纬度]的形式，再将[经度,纬度]统一为浮点数；

比较[经度,纬度]中经度数值与纬度数值的大小，如果经度数值小于纬度数值，则将经度数值与纬度数值交换位置，否则保持不变；

(3)、对经度数值(longitude)与纬度数值(latitude)的范围做判断

设给定区域的经度范围为(lng_min，lng_max)，纬度范围为(lat_min，lat_max)；

将不满足lng_minlongitudelng_max且lat_minlatitudelat_max的经纬度值全部置空，将满足上述条件的经纬度值存放在数组X中，X＝{x₁,x₂,…,x_n}，共计n组满足上述条件的经纬度值，x_n为第n组满足上述条件的经纬度值；

(4)、建立孤立森林异常检测模型

(4.1)、建立单棵孤立树