[发明专利]一种多因子集成的农业气象离群检测方法及装置

权利要求书

1.一种多因子集成的农业气象离群检测方法，其特征在于，所述方法包括以下步骤：

步骤1，用户确定农业气象因子和距离函数；

步骤2，支撑点选取；

步骤3，建立索引；

步骤4，离群检测。

2.根据权利要求1所述的一种多因子集成的农业气象离群检测方法，其特征在于，在步骤1中，用户确定农业气象因子和距离函数的方法为：用户根据自己的需要选择农业气象因子，根据这些因子设计合适的距离函数，合适的距离函数即使之符合距离三特性，距离三特性即正定性、对称性、三角不等性。

3.根据权利要求1所述的一种多因子集成的农业气象离群检测方法，其特征在于，在步骤2中，支撑点选取包括以下步骤：

步骤2.1，使用FFT算法选取m个支撑点作为候选支撑点，候选支撑点组成候选支撑点集；

步骤2.2，对于候选支撑点集，每个候选支撑点都作此操作：与数据集所有对象的距离并存储距离信息d(p1,p2)，计算完成之后，按照升序排序，最大距离值称为该候选支撑点的半径，取最小的候选支撑点半径的20％为基准距离；

步骤2.3，计算最密集支撑点：统计每个候选支撑点在基准距离范围内的近邻数量，取最多者作为最密集支撑点。

4.根据权利要求1所述的一种多因子集成的农业气象离群检测方法，其特征在于，在步骤3中，建立索引的方法为：将最密集支撑点与数据集所有对象的距离降序排序结果作为索引。

5.根据权利要求1所述的一种多因子集成的农业气象离群检测方法，其特征在于，在步骤4中，离群检测的方法为：

定义剪枝规则为：假设给定D为数据集，c为离群度阈值，P为最密集支撑点，x为离群检测方法正在检测的数据对象，d()为距离函数，nn_k(P,D)表示对象P在数据集D中的第k最近邻；

定理1，终止规则，如果d(x,P)+d(P,nn_k(P,D))<，那么离群检测过程可以终止并得到正确的结果；

定理2，前置密集簇整体过滤规则，在对每个数据块进行检测之前提前过滤掉部分非离群点；

对于任意一个候选支撑点p，如果与它距离小于0.5c的范围内近邻数量大于或等于k个，那么这些近邻及候选支撑点p都可作为非离群点排除；

定理3，非k最近邻排除规则：排除非k近邻的对象，

对于任意一个候选支撑点p，如果

||d(x,p)-d(x_j,p)||>d(x,nn_k(x,D))，

那么x_j不可能为x的k最近邻；

以伪代码描述离群检测算法流程如下：

输入：最近邻数量k，离群点数量n，数据集D

输出：离群点集

S1，读取索引，将离群点集初始化为空；

S2，划分索引序列为数据块，得到离群检测顺序；

S3，离群点集初始化为空；

S4，按检测顺序逐数据块读取数据集；

S5，对每个候选支撑点使用定理2确定哪些对象为非离群点，按照它们的对象ID，从未检测的数据块中找到并剔除之；

S6，如果所有数据块都已检测，输出离群点检测结果，即离群点集；

S7，如果定理1成立，输出离群点集；

S8，数据块每个对象相对全局数据集以螺旋顺序搜索k最近邻，如果定理3成立，不必计算距离，直接排除，一旦发现离群度小于c，则将对象x从当前数据块B移除；

S9，按上述步骤检测完数据块B之后，将数据块B剩余的所有对象与当前的离群点集合并，取离群度最大的n个对象作为离群点集；

S10，所有数据块检测完，输出离群点集。

6.一种多因子集成的农业气象离群检测装置，其特征在于，所述装置包括：存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序运行在以下装置的单元中：

气象因子确定单元，用于用户确定农业气象因子和距离函数；

支撑点选取单元，用于支撑点选取；

建立索引单元，用于建立索引；

离群检测单元，用于离群检测。