[发明专利]一种多因子集成的农业气象离群检测方法及装置

说明书

本发明公开了一种多因子集成的农业气象离群检测方法及装置，由于离群点在数据集中占的比较非常小，因此被随机选中的概率非常低。故而该算法随机选取数据集一个对象作为支撑点，然后计算所有对象与其距离，再按降序排序，从而建立简单索引，基于该索引，相当于按照与支撑点的距离，从远到近检测离群点，解决了如何确保候选支撑点之间相互距离较远，以便以它们为中心在一定半径范围内能囊括更多对象，更好地提前排除非离群点，构建前置密集簇整体过滤规则，在对每个数据块进行检测之前提前过滤掉部分非离群点，过滤规则应用在对每个数据块进行检测之前，避免了更多距离计算开销。

技术领域

本公开涉及农业信息与数据挖掘技术领域，具体涉及一种多因子集成的农业气象离群检测方法及装置。

背景技术

农业气象与普通的气象相比，有着显著不同的特点，因承灾体、孕灾环境等不同，它们造成灾害也大不相同。农业气象灾害比普通气象灾害增加一些指标如干旱指标、低温冷害指标、寒害指标等，数据类型较多，在自动检测灾害气象的时候，传统的面向多维数据的离群检测算法力不从心。度量空间离群检测算法适用于大多数数据类型，对于普通气象数据和农业气象特有数据均可有效应对，特别适合应用于多因子集成的农业气象灾害检测。但传统度量空间离群检测算法存在着索引效率低下、离群检测速度较慢等问题。下面以与本发明最为接近的iORCA算法为例介绍度量空间离群检测算法。

iORCA算法是本领域代表性算法，iORCA算法的缺点

①随机选取的支撑点不稳定，可能处于密集处，但也可能处于稀疏处，从而不利于提前结束离群检测过程。即使随机选取多个支撑点来取其中最密集者，由于它们之间可能较为靠近，也不利于使用其它规则排除非离群点或非k最近邻(k nearest neighbors，kNN)。

②在对每个数据块进行检测之前未能提前排除部分非离群点，缩小检测范围。

发明内容

本公开提供一种多因子集成的农业气象离群检测方法及装置，由于离群点在数据集中占的比较非常小，因此被随机选中的概率非常低。故而该算法随机选取数据集一个对象作为支撑点，然后计算所有对象与其距离，再按降序排序，从而建立简单索引，基于该索引，相当于按照与支撑点的距离，从远到近检测离群点，本公开解决了以下2个方面的技术问题：

①如何确保候选支撑点之间相互距离较远，以便以它们为中心在一定半径范围内能囊括更多对象，更好地提前排除非离群点。

说明：应用FFT算法能较好地实现这一点，且实现这个功能之后可在不增加距离计算开销的情况下，选取候选支撑点中的密集支撑点(因为这些候选支撑点都已与整个数据集计算距离，很容易计算其密度，进而选取得其中的最大密集支撑点)。

②构建前置密集簇整体过滤规则，在对每个数据块进行检测之前提前过滤掉部分非离群点。

为了实现上述目的，根据本公开的一方面，提供一种多因子集成的农业气象离群检测方法，所述方法包括以下步骤：

步骤1，用户确定农业气象因子和距离函数；

步骤2，支撑点选取；

步骤3，建立索引；

步骤4，离群检测。