[发明专利]基于邻近分组的大数据测量

说明书

技术领域

本发明涉及大数据信息处理领域，更具体而言，涉及一种基于邻近分组的大数据测量方法和装置。

背景技术

随着社会工业化、信息化水平的不断提高，如今数据已取代计算成为信息计算的中心，云计算、大数据正在成为一种趋势和潮流。包括存储容量、可用性、I/O性能、数据安全性、可扩展性等诸多方面。大数据是规模非常巨大和复杂的数据集。大数据有4V：Volume(大量)，数据量持续快速增加；Velocity(高速)，数据I/O速度更快；Variety(多样)，数据类型和来源多样化；Value(价值)，其存在各方面的可用价值。与此同时，在对大数据的挖掘应用中，大多数感兴趣的数据往往很复杂，而且由于对象的复杂性，导致该数据由许多不同特征表示，从而为大数据的进一步处理带来难度。

对于大数据中的多维数据，尤其是高维数据，使用常规的机器学习运算对其进行处理有时也比较困难。因为多维数据具有复杂性、不确定性和模糊性，其包含了图像、文本、音视频、数据流、各种物理类型的信号。本领域技术人员所公知的是：如果采用低维数据，则所需要的采样点将比较少；如果数据是多维甚至高维，所需要的采样点就会惊人地指数级增加，而现实中面对多维问题时往往无法获得如此多的样本点(即使获得了也无法处理这么庞大数据量)，所以导致对该问题的处理极为棘手。

对大数据的处理，先对其进行测量，进而为进一步的处理建立基础。破解产业难题。因此需要做出改进，以期先对大数据做出有意义的测量，特别地，可将其应用到基于邻近分组的大数据框架中。

发明内容

本发明的目的之一是提供一种基于邻近分组的大数据测量方法和装置，通过改进、优化其测量方式而做出有意义的测量，为进一步的处理奠定基础。

本发明为解决上述技术问题而采取的技术方案为：一种基于邻近分组的大数据测量方法和执行方法步骤的装置，该方法包括步骤：确定邻近分组中元素的权重；相对于元素Xj，获得其他元素的邻近分组中与元素Xj邻近程度为L的元素数量；相对于元素Xj，获得在分类为d的元素分组中与元素Xj邻近程度为L的元素数量；如果元素Xj出现在邻近集合中，则获得分类为d的元素Xj的概率；获得关于分类为d的元素Xj的概率；并获得关于分类d中元素Xj的关系程度Rd(Xj)。

根据本发明的一个方面，元素Xj是其他元素的邻近分组中所有或部分元素的近邻，该权重或者基于邻近分组中的元素位置，或者基于某元素到其他数据点之间的距离；与元素Xj相关联的权重表示为W(Xj)，该参数表示经过训练的分组中的元素Xj具有唯一的相关联的权重，其中j为正整数。

根据本发明的另一个方面，元素数量表示为M_L(Xj)，由αA和βB两部分的总和组成；A表示元素Xj的标识与另一些元素的标识相匹配的事件所发生的数量，所述的另一些元素是在邻近分组中与元素Xj邻近程度为L并且被观察的元素；其中L为正整数；B表示元素Xj与另一些元素的标识失配的事件的数量；α、β表示系数。

根据本发明的另一个方面，获得的分类为d的元素Xj的概率表示为γ1，该γ1为(M_L，d(Xj)+C)和(M_L(Xj)+D*C)的商，其中C是为了防止概率被评估为0的平坦化因子，而D是分类的总数。

根据本发明的另一个方面，获得的关于分类为d的元素Xj的概率表示为γ2，γ2为和(C*D+L+1)的商，其中E是判定函数

根据本发明的另一个方面，关系程度Rd(Xj)可用另一个判定函数来获得，该判定函数为：如果M_L(Xj)比预先定义的临界值大，则关系程度Rd(Xj)可选取γ1值；而如果M_L(Xj)比预先定义的临界值小，则关系程度Rd(Xj)可选取γ2值；之后可将其应用于大数据的选择和操作，进而做出有意义的大数据测量。

附图说明

在附图中通过实例的方式而不是通过限制的方式来示出本发明的实施例，其中：

根据本发明的实施例，图1例示了一种基于邻近分组的大数据测量方法的流程图。

具体实施方式

在下面的描述中，参考附图并以例示的方式示出几个具体的实施例。将理解的是：可设想并且可做出其他实施例而不脱离本公开的范围或精神。因此，以下详细描述不应被认为具有限制意义。

根据本发明的实施例，图1例示了一种基于邻近分组的大数据测量方法的流程图，其中该方法可应用于并且适合于基于邻近分组的大数据架构。