[发明专利]动态离群值偏倚减少系统和方法

说明书

相关申请的交叉引用

此国际专利申请要求2011年8月19日递交的标题为“Dynamic Outlier Bias Reduction System and Method”、序列号为13/213,780的美国非临时专利申请的权益和优先权，这里通过引用将该美国申请全部并入。

技术领域

本发明涉及对数据的分析，其中离群元素被从分析开发中去除(或过滤掉)。分析可与简单统计量的计算或者在其开发中涉及使用数据的数学模型的更复杂操作有关。离群数据过滤的目的可以是执行数据质量和数据验证操作，或者计算能够应用于后续分析、回归分析、时间序列分析中的代表性标准、统计量、数据群组或者用于数学模型开发的合格数据。

背景技术

在标准或数据驱动模型开发中去除离群数据是分析前工作的一个重要部分，用来确保从底层数据开发出有代表性的且合理的分析。例如，为二氧化碳(CO₂)、臭氧(O₃)、水蒸气(H₂O)、氢氟碳(HFC)、全氟化碳(PFC)、含氯氟烃(CFC)、六氟化硫(SF₆)、甲烷(CH₄)、一氧化二氮(N₂O)、一氧化碳(CO)、氧化氮(NOx)以及非甲烷挥发性有机化合物(NMVOC)排放的温室气体标准开发公正的基准要求在标准开发中使用的所收集的工业数据表现出某些属性。少数几个工业场所的极好或极坏的性能不应当导致为其他场所计算的标准的偏倚。可以判断将这种性能结果包括在标准计算中是不合理或者没有代表性的。过去，经由一种要求主观输入的半定量过程来去除性能离群值(outlier)。本系统和方法是一种数据驱动的方案，该方案把此任务作为模型开发的一个组成部分来执行，而不是在分析前或模型开发前阶段执行。

偏倚(bias)的去除可以是一个主观过程，其中以某种形式记录认为恰当的理由以证实数据变化。然而，任何形式的离群值去除都是一种带着改变计算结果的潜在可能性的数据审查。这种数据过滤可能减少或不减少计算中的偏倚或误差，并且本着完全分析公开的精神，严格的数据去除指导方针和去除离群值的证明材料需要与分析结果包括在一起。因此，在现有技术中需要提供一种新的系统和方法，用于利用一种对于数据质量操作、数据验证、统计计算或数学模型开发等等有用的动态统计过程来客观地去除离群数据偏倚。离群值偏倚去除系统和方法还可用于将数据分组成代表性类别，其中数据被应用到为每个群组定制的数学模型开发。在优选实施例中，系数被定义为数学模型中的乘法和加法因子以及在性质上非线性的其他数值参数。例如，在数学模型f(x，y，z)＝a＊x+b＊y^c+d＊sin(ez)+f中，a、b、c、d、e和f全都被定义为系数。这些项的值可以固定或者是数学模型的开发的一部分。

发明内容

优选实施例包括一种用于减少离群值偏倚的由计算机实现的方法，包括以下步骤：选择偏倚标准；提供数据集合；提供模型系数的集合；选择目标值的集合；(1)为完整数据集合生成预测值的集合；(2)为数据集生成误差集合；(3)基于误差集合和偏倚标准生成误差阈值的集合；(4)由处理器基于误差集合和误差阈值的集合生成经审查的数据集合；(5)由处理器生成新模型系数的集合；(6)使用新模型系数的集合，重复步骤(1)-(5)，除非满足了审查性能终止标准。在优选实施例中，可基于数据集合和模型系数的集合来生成预测值的集合。在优选实施例中，误差集合可包括基于预测值的集合和目标值的集合生成的绝对误差的集合和相对误差的集合。在另一实施例中，误差集合可包括作为预测值的集合与目标值的集合之间的差异计算出的值。在另一实施例中，生成新系数的集合的步骤还可包括最小化预测值的集合与实际值的集合之间的误差的集合的步骤，这可利用线性或非线性优化模型来实现。在优选实施例中，审查性能终止标准可基于标准误差(standard error)和确定系数(coefficient of determination)。